토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync
토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.
토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.
Iceberg를 DataLake에 도입해 Kafka·CDC 입수와 테이블 운영을 더 효율적으로 개선했습니다. 또한 자동화된 모니터링과 유지보수로 실시간 조회와 성능 최적화를 함께 달성했습니다.
하루 6천 개가 넘는 Spark Job을 자동으로 점검하기 위해 Spark Analyzer를 개발했습니다. History Server 메트릭과 임계치 기반 규칙으로 성능 문제를 탐지하고 알림으로 연결했습니다.

ksqlDB Join으로 뉴스탭 로그와 유저 클러스터 정보를 실시간 결합해 추천용 데이터를 만들었습니다. 외부 DB 조회를 줄이고 파티션과 조인 키를 맞춰 정확한 실시간 처리를 보장했습니다.

전세대출 신용정보 조회를 MSA와 Redis, Kafka 기반으로 개선한 사례를 소개했습니다. 불필요한 폴링과 DB 적재를 줄이고 처리 속도와 장애 격리를 향상했습니다.

100개가 넘는 라이브러리를 관리하기 위해 배포 파이프라인에 플러그인 시스템을 도입한 사례를 소개했습니다. 공통 코어는 유지하면서 레포별 요구사항을 독립적으로 확장하는 구조를 설명했습니다.

토스증권이 배너 기능을 지면, 데이터소스, 노출 조건 단위로 분리해 확장 가능한 인텔리전스 시스템으로 재구성했습니다. 필요한 시점에만 데이터를 불러오고 SpEL로 조건을 평가해 유지보수성과 대응 속도를 높였습니다.

토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
해외주식 서비스의 브로커 지연과 데이터 병목 문제를 트래픽 제어, 자동 failover, MongoDB 도입으로 개선했습니다. 정규장 피크와 서비스 성장에 맞춰 기존 도구를 활용한 운영 안정화 사례를 소개했습니다.

대규모 트래픽이 몰린 라이브 쇼핑 서비스에서 Redis, DB, Gateway 병목을 줄인 방법을 공유했습니다. 서버 증설보다 모니터링과 캐시, 비동기 처리, 요청 통합을 통한 성능 개선이 핵심이었습니다.
토스페이먼츠가 MDX와 OAS, remark를 결합해 API 문서 작성의 자유도와 정확도를 높인 사례를 소개했습니다. 스펙 자동화와 PR 기반 반영으로 반복 작업을 줄이고 문서 품질을 개선했습니다.