CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.
#Debezium#Apache Flink
0005분
필터 1
토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync
토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.
#Apache Kafka#Active-Active
29005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #1
토스증권의 Kafka 데이터센터 이중화 개요를 소개하며 Active-Active와 Stretched Cluster를 비교했습니다. 가용성과 성능을 고려해 Active-Active를 선택하고 DNS와 Offset Sync 전략을 설명했습니다.
#Apache Kafka#Kafka
159005분