공통 Kafka 전환기 [Part 1. 공통 Kafka 전환 배경 및 전략]

문제 상황

• 도메인별로 Kafka Cluster를 개별 운영하며 토픽 정의, 권한, 모니터링을 각 팀이 따로 관리하는 구조
• 환경별 중복 리소스와 별도 운영 인력 필요로 인한 인프라 비용 증가와 운영 비효율
• Kafka 버전, 인증 방식, 모니터링 체계가 팀마다 달라 전사 표준화가 어려운 상황

해결 방법

• 모든 도메인 팀이 사용하는 공통 Kafka Cluster로 통합 전환
• Kafka 3.7.0과 KRaft 모드 도입으로 Zookeeper 의존성 제거 및 관리 복잡성 완화
• SASL/SCRAM SHA-512, ACL, AKHQ, Grafana, Slack Alert로 보안과 모니터링 체계 표준화

성능/운영 포인트

• 용도별로 애플리케이션 데이터 스트리밍 Cluster와 로그·Queue용 Cluster 분리 운영
• 중앙 집중화된 운영으로 설정, 인증, 모니터링의 일관성 확보
• 공통 운영 인력으로 전환해 개발팀의 메시지 Produce/Consume 집중도 향상