국내 IT 기업 기술 블로그 최신 글

필터 1
Oracle에서 MongoDB로의 CDC Pipeline 구축
카카오페이
백엔드

Oracle에서 MongoDB로의 CDC Pipeline 구축

Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.

#Oracle#MongoDB
2900
AWS MSK Connect 효과적으로 운영하기
올리브영
데브옵스

AWS MSK Connect 효과적으로 운영하기

AWS MSK Connect와 Kafka 기반 CDC 운영 전략을 정리한 글입니다. 장애 대응, 데이터 경량화, DLQ, 모니터링 설정까지 실무 운영 포인트를 소개했습니다.

#AWS#Kafka
3600
누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)
라포랩스
백엔드

누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)

Debezium connector 재시작 때 오래된 binlog를 다시 읽으며 DB CPU가 급등한 원인을 분석했습니다. heartbeat.interval.ms를 적용해 상태 기록 주기를 보강하고 문제를 해결했습니다.

#debezium#CDC
2300
컬리의 BigQuery 도입기 - 2부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 2부

BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다. Merge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.

#BigQuery#Kafka
100
NRTI (Near Real-Time Indexing)
딜리셔스
백엔드

NRTI (Near Real-Time Indexing)

Elasticsearch 색인 구조를 Kafka와 Debezium 기반 이벤트 처리로 전환한 사례를 소개했습니다. ECK를 함께 적용해 색인 속도와 운영 안정성을 함께 높였습니다.

#Elasticsearch#Kafka
2400
MRT Public Data Service 개발 — 2
마이리얼트립
백엔드

MRT Public Data Service 개발 — 2

CDC 데이터를 Kafka Streams로 가공해 Druid에 색인하고 API로 제공하는 PDS 구조를 소개했습니다. 실시간 집계와 운영 모니터링을 함께 설계한 사례를 다뤘습니다.

#Kafka Streams#Druid
1100