데브옵스
운영하지 않는 Kafka, EasyQueue를 소개합니다
두줄요약
EasyQueue는 Kafka 운영을 맡기면서 토픽·파티션 등 핵심 제어권은 유지하는 관리형 서비스입니다. 콘솔 기반 테스트·Lag 모니터링과 표준 Kafka 클라이언트 연결 방식을 소개했습니다.
문제 상황
- Kafka 클러스터 구성, 복제·리텐션 설정, 백업·모니터링·알람에 따른 운영 부담
- 관리형 서비스 도입 시 기존 클라이언트 호환성, 토픽 제어권, 컨슈머 Lag 가시성 우려
구조와 흐름
- NHN Cloud 운영 클러스터 위에서 사용자별 토픽 생성·파티션·컨슈머 그룹 제어
- 프로듀서 발행, 파티션 저장, 컨슈머 구독의 표준 Kafka 흐름
- SASL/OAUTHBEARER 인증과 Appkey 접두어 기반의 Kafka 클라이언트 연결
트레이드오프
- 즉시 생성과 종량제를 위한 공용 클러스터 선택
- 공용 환경 보호를 위한 프로젝트별 토픽·파티션 수 제한
- 대용량 단일 토픽 부하 및 높은 한도 요구 워크로드의 제약 가능성
성능/운영 포인트
- 복제본 수 3, 최소 동기화 복제본 수 2 고정에 따른 메시지 내구성 확보
- 콘솔 기반 토픽 관리, 메시지 송수신 테스트, 컨슈머 그룹 Lag 조회와 90일 모니터링 보관
- 리전별 독립 클러스터와 3중 복제 저장량을 반영한 비용 관리
