Practical 시리즈는 AWS 환경 위에서 데이터 인프라를 구축하는데 참고할만한 내용들을 담고 있습니다. 이 글은 그 중 Practical Kafka 의 한 챕터입니다.

이번 챕터에서는 Kafka Partition 이 Consumer 에 어떻게 할당되는지와 이 과정에서 발생하는 Rebalancing 대해서도 이야기 해봅니다. 또한 Static Membership / Incremental Rebalancing 기능이 이러한 문제를 어떻게 풀고자 하는지도 살펴봅니다. 마지막으로는 데이터 유실과 중복이 발생할 수 있는 경우에 대해 알아보고 Idempotent Producer 와 Kafka Transaction 을 통해 어떻게 방지할 수 있는지도 살펴봅니다.