국내 IT 기업 기술 블로그 최신 글

토스

2025년 1월 23일

백엔드

토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync

토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.

#Apache Kafka#Active-Active

3600

데보션

2024년 11월 18일

백엔드

카프카 커넥트와 오프셋 관리(2)

카프카 커넥트의 내부 오프셋 관리 방식과 REST API 기반 조작 방법을 설명했습니다. 예제로 오프셋을 되돌려 레코드를 다시 처리하는 과정을 보여주었습니다.

#Kafka#REST API

2000