국내 IT 기업 기술 블로그 최신 글

필터 1
DynamoDB Export를 BigQuery CDC로 처리하기까지
삼성
백엔드

DynamoDB Export를 BigQuery CDC로 처리하기까지

DynamoDB Incremental Export 데이터를 BigQuery CDC로 적재하는 방식을 다룹니다. SQL MERGE 쿼리로 Insert·Update·Delete 변경을 반영합니다.

#DynamoDB#BigQuery
500
전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로
11번가
아키텍처

전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로

THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.

#MongoDB#Kafka
1500
옮기는 것보다 증명이 어렵다
카카오
백엔드

옮기는 것보다 증명이 어렵다

클레임 검색 색인을 변경 알림 방식에서 데이터베이스 변경 로그 기반 CDC로 전환했습니다. 누락·값·지연 관점에서 새 색인의 정확성을 검증하는 과정을 다룹니다.

#CDC#검색
3800
최소한으로 울리는 알림 만들기: 비정상 병원 알림
비브로스
데브옵스

최소한으로 울리는 알림 만들기: 비정상 병원 알림

Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다. 발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

#MongoDB#Kafka
3600
때로는 오버엔지니어링이 필요합니다
올리브영
백엔드

때로는 오버엔지니어링이 필요합니다

레거시 문자 발송 데몬을 걷어내기 위해 CDC와 Kafka를 이용한 과도기 구조를 설계했습니다.수십 개 서비스를 한 번에 바꾸지 못하는 상황에서 안전한 전환과 관측성을 확보한 사례를 설명했습니다.

#CDC#Kafka
15000
Logstash에서 Debezium CDC로 전환한 이유
넥스트리
백엔드

Logstash에서 Debezium CDC로 전환한 이유

PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.

#Elasticsearch#Logstash
4500
Slack 대화 한 번으로 끝나는 CDC 파이프라인 온보딩
크림
AI

Slack 대화 한 번으로 끝나는 CDC 파이프라인 온보딩

Slack 대화만으로 CDC 파이프라인 온보딩을 처리하는 AI Agent 사례를 소개했습니다. LangChain/LangGraph와 MCP를 연결해 반복 절차를 자동화한 구성입니다.

#LangChain#LangGraph
6600
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
사람은 떠났는데 권한은 남았다
flex
백엔드

사람은 떠났는데 권한은 남았다

관계 원천과 인가 튜플을 Outbox·CDC·Kafka로 동기화해 잔존 권한 문제를 줄이는 구성을 다뤘습니다. 부분 실패, 캐시, 감사 이력까지 함께 고려한 운영 포인트도 정리했습니다.

#Kafka#CDC
5100
에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기
올리브영
데브옵스

에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기

상품 모니터링 체계를 Slack 알림 중심에서 DLQ 재처리, Workflow 자동 분석, 정합성 자동화로 진화시켰습니다. 사람이 개입할 일을 줄이고 장애 판단과 대응 속도를 높인 사례를 공유했습니다.

#Datadog#DLQ
15000
[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합
flex
아키텍처

[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합

테스트 인프라를 프로덕션 구조에 맞춰 variant와 스냅샷 캐시로 분리·재사용하는 방법을 정리했습니다. 경계를 깎아 교체 가능성을 만들면 CI와 개발 이터레이션이 함께 빨라졌습니다.

#MySQL#Kafka
13600
[미래를 담아낸 뼈대 2/7] 모듈 경계를 넘는 이벤트
flex
아키텍처

[미래를 담아낸 뼈대 2/7] 모듈 경계를 넘는 이벤트

Hexagonal Modular Monolith 구조 위에서 Outbox와 CDC로 도메인 간 이벤트 일관성을 보장하는 방식을 설명했습니다. 멱등 컨슈머와 공통 라이브러리로 신뢰성 있는 이벤트 레일을 만든 사례를 다뤘습니다.

#Outbox#CDC
12600
기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다
라인
백엔드

기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다

기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.

#Kafka#CDC
13700
CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication
밸런스히어로
백엔드

CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication

전수 적재의 지연과 정합성 문제를 해결하기 위해 CDC 기반 증분 복제 파이프라인을 설계했습니다. 전체 로우 해시와 사후 검증으로 멱등성과 신뢰도를 높이고, 시간 단위 배치로 최신성을 개선했습니다.

#CDC#Apache Iceberg
1100
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
밸런스히어로
데브옵스

CDC 파이프라인을 Debezium과 Flink로 재설계한 이유

NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.

#Debezium#Apache Flink
2300