백엔드
카프카 파티션 개수 산정식 설계 여정
두줄요약
카프카 파티션 수를 정하는 산정식과 기준값을 설계한 과정을 정리했습니다. 프로듀서 처리량, 컨슈머 catch-up, 운영 한도를 함께 고려해 초기 파티션 수 판단 기준을 제안했습니다.
핵심 내용
- 카프카 토픽의 초기 파티션 수를 정하기 위한 산정식 설계 과정 정리
- 프로듀서 평균/피크 처리량, 컨슈머 다운타임과 catch-up 목표, 파티션당 ingress·egress 기준값을 함께 고려
- Confluent Cloud Enterprise 환경에서 실측한 ingress/egress와 운영 한도를 바탕으로 기본값 도출
- 순서 보장, 브로커 운영 비용, 장애 복구와 같은 파티션 수 증가의 트레이드오프를 함께 설명