공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]
백엔드
공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]
두줄요약
도메인별로 분산 운영되던 8개 Kafka 클러스터를 공통 Kafka로 통합하는 전환 과정을 정리했습니다. MirrorMaker2 기반 점진 전환으로 서비스 영향 없이 데이터 일관성과 Offset을 유지했습니다.
문제 상황
- 도메인별로 분산 운영되던 8개 Kafka 클러스터의 운영 방식, 규모, 트래픽, 인증 정책 상이
- 전사 공통 Kafka로 통합하면서 서비스 영향 최소화와 데이터 일관성, Consumer Offset 유지 필요
- 전사 운영 표준에 맞춘 계정, 인증, ACL, 토픽 네이밍 재구성 필요
해결 방법
- 소규모 단일팀 클러스터는 신규 Topic 생성 후 엔드포인트 일괄 전환
- 대규모 다중팀 클러스터는 MirrorMaker2 기반 점진 전환으로 실시간 복제와 Offset 동기화 수행
- Consumer 우선 전환 후 Producer 전환, 이후 Mirroring 중단과 Source 자원 회수 순으로 이관
성능/운영 포인트
- Source-Target 단방향 복제로 메시지 유실, 중복 소비, 순서 변경 위험 최소화
- MirrorSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector로 데이터 복제와 상태 모니터링 지원
- 전환 후 중앙 공통 플랫폼으로 통합되어 비용 절감과 운영 표준화, 성수기 트래픽 대응 안정성 확보