데이터 엔지니어를 위한 Kafka: 핵심 개념, KRaft, 그리고 실제로 통하는 패턴들

Kafka 4.0에서 ZooKeeper가 제거되면서 KRaft가 새로운 표준으로 자리 잡았습니다.

이 가이드는 브로커, 토픽, 파티션, 오프셋, 컨슈머 그룹, 리밸런싱 등 Kafka의 핵심 개념을 정리합니다.

또한 KIP-848로 바뀐 리밸런싱 동작이 프로덕션 소비자에 어떤 의미인지 설명합니다.

데이터 엔지니어를 위해 Kafka Connect, Debezium, PostgreSQL을 활용한 안정적인 수집과 CDC 패턴도 다룹니다.