PRESENT

🏄‍♀️ Kafka와 Python 라이브러리Kafka의 Producer와 Consumer 기능을 Python 코드로 작성해보자. 기존의 Kafka의 쉘 스크립트는 기본적인 기능만을 제공하기 때문에 좀 더 유연하고 정교한 방식으로 kafka 메시징을 하고자 한다면 Python 라이브러리를 이용하면 된다.쉘 스크립트 이용기본 기능만 제공메시지 입/출력Python 라이브러리 이용유연하고 정교한 방식으로 처리 가능로직, 조건문, 예외처리, 자동화, 외부 연동 🧩 Python 라이브러리 설치Python 라이브러리는 kafka에서 만든 confluent-kafka를 사용한다.kafka-python 라이브러리보다 C 기반으로 만들어져 훨씬 안정적이고, Kafka의 최신 기능을 대부분 지원해주기 때문이다. 실무..

🏄‍♀️ Kafka 설치Docker를 이용하여 Kafka와 클러스터 상태를 모니터링 할 수 있는 UI를 로컬에 설치한다.KRaft로 클러스터를 관리하기 때문에 Zookeeper는 따로 설치하지 않는다.Kafka 도커 이미지 confluentinc/cp-kafka https://hub.docker.com/r/confluentinc/cp-kafka/tagsKafka UI 도커 이미지provectuslabs/kafka-uihttps://hub.docker.com/r/provectuslabs/kafka-ui 1️⃣ Docker hub에서 Kafka 이미지 가져오기Kafka 이미지는 대체로 bitnami/kafka와 confluentinc/cp-kafka를 사용한다. bitnami/kafka는 학습용으로 가..

🏄‍♀️ Kafka란 대용량 데이터를 빠르고 안정적으로 처리할 수 있는 분산형 이벤트 스트리밍 플랫폼. * 분산형 : 여러 서버에 나누어 처리한다는 의미.* 스트리밍 플랫폼 : 데이터를 실시간으로 주고받는 시스템. 🎏 Kafka의 기본 데이터 흐름Producer → Topic → Consumer(Producer가 데이터를 특정 Topic에 보내면, Broker가 데이터를 Partition에 저장하고, Consumer가 구독해서 가지고 간다)예) 웹 사이트 방문 등의 사용자 이벤트가 발생하면 Producer가 Record(로그데이터)를 만든다 → Record는 Topic에 순서대로 저장된다 → Consumer가 Topic을 구독해서 실시간 분석 시스템 또는 저장소로 전송한다 🧩 Kafka ..