Apache Iceberg와 Flink CDC 심층 탐구
Apache Iceberg와 Flink CDC를 다루는 심층 탐구 글입니다. 발췌만으로는 구체적 내용 확인이 어려워 핵심 주제만 요약했습니다.
#Apache Iceberg#Flink
1600
필터 1
아파치 플링크와 CDC의 만남. 플링크 CDC 맛보기
아파치 플링크와 CDC를 함께 살펴보는 맛보기 글입니다. 데이터 취합과 일단위 지표 추출 맥락에서 주제를 소개합니다.
#Apache Flink#CDC
1800
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.
#Kafka#ETL
5600
Headless CMS를 위한 변경 데이터 캡쳐(CDC) 기술 설계하기
헤드리스 CMS에서 다국어와 연관 관계를 고려한 CDC 설계 경험을 공유했습니다. 순서 보장과 트랜잭션 분리를 통해 대량 변경을 안정적으로 처리했습니다.
#CDC#Headless CMS
2600
대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정
Debezium 기반 CDC 파이프라인의 운영 지표와 개선 방법을 정리한 글입니다. end-to-end 지연, 처리량, 확장성 개선으로 생성과 복구 시간을 줄인 사례를 소개했습니다.
#Debezium#Kafka
4300
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
#Kafka#ksqlDB
2500
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다
6개 도메인을 하나의 통합 모델로 옮기기 위해 Kafka, CDC, Kafka Streams 기반 마이그레이션 파이프라인을 구축했습니다. Strimzi Operator로 Kafka Connect를 관리하며 준실시간 데이터 통합과 재실행 가능성을 확보했습니다.
#Kafka#Strimzi
3000
Oracle에서 MongoDB로의 CDC Pipeline 구축
Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.
#Oracle#MongoDB
2400
AWS MSK Connect 효과적으로 운영하기
AWS MSK Connect와 Kafka 기반 CDC 운영 전략을 정리한 글입니다. 장애 대응, 데이터 경량화, DLQ, 모니터링 설정까지 실무 운영 포인트를 소개했습니다.
#AWS#Kafka
2700
누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)
Debezium connector 재시작 때 오래된 binlog를 다시 읽으며 DB CPU가 급등한 원인을 분석했습니다. heartbeat.interval.ms를 적용해 상태 기록 주기를 보강하고 문제를 해결했습니다.
#debezium#CDC
1200
NRTI (Near Real-Time Indexing)
Elasticsearch 색인 구조를 Kafka와 Debezium 기반 이벤트 처리로 전환한 사례를 소개했습니다. ECK를 함께 적용해 색인 속도와 운영 안정성을 함께 높였습니다.
#Elasticsearch#Kafka
2000
MRT Public Data Service 개발 — 2
CDC 데이터를 Kafka Streams로 가공해 Druid에 색인하고 API로 제공하는 PDS 구조를 소개했습니다. 실시간 집계와 운영 모니터링을 함께 설계한 사례를 다뤘습니다.
#Kafka Streams#Druid
800