![공통 Kafka 전환기 [Part 1. 공통 Kafka 전환 배경 및 전략]](https://miro.medium.com/v2/resize:fit:1200/1*Zgg56jduWlHfsjk4HhqKHQ.png)
백엔드
공통 Kafka 전환기 [Part 1. 공통 Kafka 전환 배경 및 전략]
두줄요약
도메인별로 분산 운영하던 Kafka Cluster를 공통 Cluster로 통합한 배경과 전략을 정리했습니다. KRaft, SASL/SCRAM, AKHQ, Grafana를 활용한 표준 운영 방향도 소개했습니다.
문제 상황
- 도메인별로 Kafka Cluster를 개별 운영하며 토픽 정의, 권한, 모니터링을 각 팀이 따로 관리하는 구조
- 환경별 중복 리소스와 별도 운영 인력 필요로 인한 인프라 비용 증가와 운영 비효율
- Kafka 버전, 인증 방식, 모니터링 체계가 팀마다 달라 전사 표준화가 어려운 상황
해결 방법
- 모든 도메인 팀이 사용하는 공통 Kafka Cluster로 통합 전환
- Kafka 3.7.0과 KRaft 모드 도입으로 Zookeeper 의존성 제거 및 관리 복잡성 완화
- SASL/SCRAM SHA-512, ACL, AKHQ, Grafana, Slack Alert로 보안과 모니터링 체계 표준화
성능/운영 포인트
- 용도별로 애플리케이션 데이터 스트리밍 Cluster와 로그·Queue용 Cluster 분리 운영
- 중앙 집중화된 운영으로 설정, 인증, 모니터링의 일관성 확보
- 공통 운영 인력으로 전환해 개발팀의 메시지 Produce/Consume 집중도 향상
