목록2025/04/12 (1)
PRESENT

🏄♀️ Kafka란 대용량 데이터를 빠르고 안정적으로 처리할 수 있는 분산형 이벤트 스트리밍 플랫폼. * 분산형 : 여러 서버에 나누어 처리한다는 의미.* 스트리밍 플랫폼 : 데이터를 실시간으로 주고받는 시스템. 🎏 Kafka의 기본 데이터 흐름Producer → Topic → Consumer(Producer가 데이터를 특정 Topic에 보내면, Broker가 데이터를 Partition에 저장하고, Consumer가 구독해서 가지고 간다)예) 웹 사이트 방문 등의 사용자 이벤트가 발생하면 Producer가 Record(로그데이터)를 만든다 → Record는 Topic에 순서대로 저장된다 → Consumer가 Topic을 구독해서 실시간 분석 시스템 또는 저장소로 전송한다 🧩 Kafka 구조..
Data Engineering/Kafka
2025. 4. 12. 22:51