이 게시물은 Hive에서 Iceberg로 전환해 데이터 반영 주기를 60분에서 5분으로 단축해 약 12배 향상한 사례를 설명합니다.

핵심 기술 도입

• Iceberg 도입으로 행 단위 증분 upsert/delete 가능
• Flink 선택: 네이티브 스트리밍으로 이벤트 단위 처리, 체크포인트와 2PC로 종단 간 정확히 한 번 보장

운영 및 배포

• Flink 쿠버네티스 오퍼레이터 채택으로 선언적 배포 및 GitOps 운영
• JobManager 중심 위임 토큰으로 Kerberos 인증 안정화

성능 최적화

• 보정(compensation) 파이프라인과 KeyedWindow·커스텀 트리거로 MongoDB 부하 제어
• identifier-field-ids·equalityFieldColumn 설정, rewrite_data_files와 ID 기반 bucket 파티셔닝으로 중복 적재 및 읽기 성능 문제 해결