PRESENT

🏄‍♀️ Kafka 설치Docker를 이용하여 Kafka와 클러스터 상태를 모니터링 할 수 있는 UI를 로컬에 설치한다.KRaft로 클러스터를 관리하기 때문에 Zookeeper는 따로 설치하지 않는다.Kafka 도커 이미지 confluentinc/cp-kafka https://hub.docker.com/r/confluentinc/cp-kafka/tagsKafka UI 도커 이미지provectuslabs/kafka-uihttps://hub.docker.com/r/provectuslabs/kafka-ui   1️⃣ Docker hub에서 Kafka 이미지 가져오기Kafka 이미지는 대체로 bitnami/kafka와 confluentinc/cp-kafka를 사용한다. bitnami/kafka는 학습용으로 가..

🏄‍♀️ Kafka란 대용량 데이터를 빠르고 안정적으로 처리할 수 있는 분산형 이벤트 스트리밍 플랫폼. * 분산형 : 여러 서버에 나누어 처리한다는 의미.* 스트리밍 플랫폼 : 데이터를 실시간으로 주고받는 시스템.   🎏 Kafka의 기본 데이터 흐름Producer → Topic → Consumer(Producer가 데이터를 특정 Topic에 보내면, Broker가 데이터를 Partition에 저장하고, Consumer가 구독해서 가지고 간다)예) 웹 사이트 방문 등의 사용자 이벤트가 발생하면 Producer가 Record(로그데이터)를 만든다 → Record는 Topic에 순서대로 저장된다 → Consumer가 Topic을 구독해서 실시간 분석 시스템 또는 저장소로 전송한다    🧩  Kafka ..