태그

Apache Kafka 기술 블로그 글

Apache Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 6개최신 6개 표시

CDC 파이프라인을 Debezium과 Flink로 재설계한 이유

NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.

2025년 1월 23일

토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.

2025년 1월 8일

토스증권의 Kafka 데이터센터 이중화 개요를 소개하며 Active-Active와 Stretched Cluster를 비교했습니다. 가용성과 성능을 고려해 Active-Active를 선택하고 DNS와 Offset Sync 전략을 설명했습니다.

2024년 7월 22일

실시간 광고 사용자 ID 매핑 시스템의 설계와 처리 흐름을 소개했습니다. Kafka, Spark, gRPC, ZooKeeper와 트리 기반 매핑 알고리즘으로 확장성과 유연성을 확보한 사례입니다.

2023년 12월 21일

데이터 엔지니어링 프로젝트의 임팩트를 원화로 환산한 사례를 소개했습니다. 작업 리소스와 영향 범위를 기준으로 산정하는 접근법을 정리했습니다.

2023년 9월 19일

요기요는 MSA 환경에서 분산된 데이터를 통합하기 위해 Confluent Schema Registry를 도입했습니다.\nSubjectNameStrategy 3종과 multiple type event 적용 이슈를 Pilot 경험을 바탕으로 정리했습니다.