이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 Karrot가 MongoDB CDC를 도입해 BigQuery로 데이터를 안정적으로 적재한 과정과 설계 및 기술 선택 이유를 설명
문제와 목표
대용량·자주 변경되는 컬렉션의 덤프 부담 완화, DB CPU 사용률 60% 이하 안정화, 2시간 SLO 준수
기술 선택
Flink CDC 채택 이유로 MongoDB Change Stream 지원, 안정적 체크포인트·Exactly-Once 보장, 추출·변환·적재를 하나의 파이프라인으로 처리, 수평 확장성 제공
설계 요약
초기 스냅샷은 Spark로 처리하고 이후 CDC 이벤트를 시간별 배치로 병합하여 재처리 용이성 및 아이디empotency 확보 
