CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication

핵심 내용

• 전수 적재 방식의 24시간 지연, 원본 DB 부하, 과거 데이터 수정 누락 문제를 CDC 기반 증분 복제로 재설계
• Debezium, Kafka, Flink, S3, Spark on EMR, Apache Iceberg로 변경 로그를 수집·정제·병합하는 파이프라인 구성
• PK 방식 대신 전체 로우 해시 방식과 배치 후 검증으로 조용한 실패를 줄이고 멱등성과 정합성을 강화
• 시간 단위 배치 전환으로 처리 시간과 지연을 크게 줄이고, 데이터 불일치 검증과 운영 알림 체계를 도입

적용해볼 점

• CDC 로그 병합형 복제로 전환해 최신 상태 테이블을 안정적으로 유지하는 접근
• 해시 기반 중복 제거와 PK 유일성 검증으로 배치 재실행과 누락 이벤트를 조기 감지하는 설계
• 배치 단축에 맞춰 리트라이, 워커 스케일링, 모니터링, 정합성 검증을 함께 운영하는 방식