모든 태그
태그

CDC 기술 블로그 글

CDC 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

최근 30일 3개 · 많이 쓴 회사 카카오·토스·올리브영

전체 48개최신 20개 표시
홈에서 필터

CDC 글을 많이 쓴 회사

최신 게시글

20개 표시

백엔드

DynamoDB Export를 BigQuery CDC로 처리하기까지

DynamoDB Incremental Export 데이터를 BigQuery CDC로 적재하는 방식을 다룹니다. SQL MERGE 쿼리로 Insert·Update·Delete 변경을 반영합니다.

#DynamoDB#BigQuery#CDC
500

아키텍처

전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로

THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.

#MongoDB#Kafka#CDC
1500

백엔드

옮기는 것보다 증명이 어렵다

클레임 검색 색인을 변경 알림 방식에서 데이터베이스 변경 로그 기반 CDC로 전환했습니다. 누락·값·지연 관점에서 새 색인의 정확성을 검증하는 과정을 다룹니다.

#CDC#검색#데이터베이스
3800

데브옵스

최소한으로 울리는 알림 만들기: 비정상 병원 알림

Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다. 발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

#MongoDB#Kafka#Redis
3600

백엔드

때로는 오버엔지니어링이 필요합니다

레거시 문자 발송 데몬을 걷어내기 위해 CDC와 Kafka를 이용한 과도기 구조를 설계했습니다.수십 개 서비스를 한 번에 바꾸지 못하는 상황에서 안전한 전환과 관측성을 확보한 사례를 설명했습니다.

#CDC#Kafka#transaction
15000

백엔드

Logstash에서 Debezium CDC로 전환한 이유

PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.

#Elasticsearch#Logstash#Debezium
4500

AI

Slack 대화 한 번으로 끝나는 CDC 파이프라인 온보딩

Slack 대화만으로 CDC 파이프라인 온보딩을 처리하는 AI Agent 사례를 소개했습니다. LangChain/LangGraph와 MCP를 연결해 반복 절차를 자동화한 구성입니다.

#LangChain#LangGraph#MCP
6600

백엔드

사람은 떠났는데 권한은 남았다

관계 원천과 인가 튜플을 Outbox·CDC·Kafka로 동기화해 잔존 권한 문제를 줄이는 구성을 다뤘습니다. 부분 실패, 캐시, 감사 이력까지 함께 고려한 운영 포인트도 정리했습니다.

#Kafka#CDC#Outbox
5100

데브옵스

에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기

상품 모니터링 체계를 Slack 알림 중심에서 DLQ 재처리, Workflow 자동 분석, 정합성 자동화로 진화시켰습니다. 사람이 개입할 일을 줄이고 장애 판단과 대응 속도를 높인 사례를 공유했습니다.

#Datadog#DLQ#Slack
15000

아키텍처

[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합

테스트 인프라를 프로덕션 구조에 맞춰 variant와 스냅샷 캐시로 분리·재사용하는 방법을 정리했습니다. 경계를 깎아 교체 가능성을 만들면 CI와 개발 이터레이션이 함께 빨라졌습니다.

#MySQL#Kafka#Elasticsearch
13600

아키텍처

[미래를 담아낸 뼈대 2/7] 모듈 경계를 넘는 이벤트

Hexagonal Modular Monolith 구조 위에서 Outbox와 CDC로 도메인 간 이벤트 일관성을 보장하는 방식을 설명했습니다. 멱등 컨슈머와 공통 라이브러리로 신뢰성 있는 이벤트 레일을 만든 사례를 다뤘습니다.

#Outbox#CDC#Kafka
12600

백엔드

기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다

기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.

#Kafka#CDC#OpenSearch
13700

백엔드

CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication

전수 적재의 지연과 정합성 문제를 해결하기 위해 CDC 기반 증분 복제 파이프라인을 설계했습니다. 전체 로우 해시와 사후 검증으로 멱등성과 신뢰도를 높이고, 시간 단위 배치로 최신성을 개선했습니다.

#CDC#Apache Iceberg#Kafka
1100

데브옵스

CDC 파이프라인을 Debezium과 Flink로 재설계한 이유

NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.

#Debezium#Apache Flink#Apache Kafka
2300

데브옵스

올리브영의 실시간 캠페인 타겟팅을 위한 CDC 전환기

ODI 배치 기반 캠페인 동기화를 OGG와 Kafka 기반 CDC로 전환한 사례를 다뤘습니다. 메시지 순서 문제는 Retry, DLT, 복구 배치로 보완했고 실시간 정합성과 운영 모니터링을 강화했습니다.

#CDC#Kafka#OGG
12200

백엔드

Karrot’s Journey to CDC with MongoDB

Karrot가 MongoDB 적재 방식의 한계를 해결하기 위해 CDC를 도입한 과정을 공유했습니다. 변경 로그 기반으로 BigQuery 적재를 구성하되, 초기 스냅샷은 별도 도구 활용을 검토했습니다.

#MongoDB#BigQuery#CDC
6000

백엔드

매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

MongoDB 덤프의 DB 부하와 SLO 문제를 해결하기 위해 CDC를 도입했습니다. Flink CDC와 Spark, 이중 테이블 구조로 적재와 스키마 변경, 정합성 검증을 묶었습니다.

#MongoDB#CDC#Flink
17300

아키텍처

6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기

네이버페이 주문의 DB CDC 복제 도구를 ergate로 전환한 경험을 공유했습니다. Flink와 Spring으로 복제, 검증, 복구를 분리해 성능과 운영 편의성을 개선했습니다.

#DB#CDC#Kafka
12900

백엔드

Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기

Kafka 소비 결과를 Parquet으로 변환해 S3에 적재하는 실시간 수집 파이프라인을 설계하고 구축했습니다. 또한 Flush, 커밋, 모니터링 체계를 통해 누락 없이 안정적으로 운영하는 방법을 정리했습니다.

#Kafka#S3#CDC
13100

백엔드

5대 금융사를 품은 버즈베네핏의 백엔드 팀은 무슨 일을 할까요?

게이미피케이션 확장에 맞춰 Kafka CDC와 Argo Workflow 기반의 데이터·랭킹 파이프라인을 구축했습니다. 모니터링과 Feature Flag로 대규모 트래픽 운영 및 제한적 기능 실험을 지원합니다.

#Go#Kafka#CDC
100