백엔드
제로베이스 WMS 구축기: Kafka 기반 분산 물류 시스템 설계와 Out-of-Order Events 해결
두줄요약
올리브영이 외부 WMS 의존을 벗어나 GMS를 제로베이스로 구축한 과정을 소개했습니다. Kafka와 Kafka Streams로 Out-of-Order Events를 완화하고 출고 성능과 운영 안정성을 개선했습니다.
문제 상황
- 외부 WMS 의존에서 벗어나 올리브영 자체 글로벌 물류 시스템을 제로베이스로 구축할 필요성
- 여러 외부 시스템, 리전 간 네트워크, 비동기 메시징이 얽힌 출고 흐름에서 Out-of-Order Events 발생
원인 분석
- GMS, WCS, Global Mall, CBT, 특송사 간 독립적 비동기 연동 구조
- 리전 간 consume 지연, 특송사 API 지연, 대량 요청 병목, 수기 확정 같은 순서 역전 요인
해결 방법
- API와 Kafka 비동기 Pub/Sub를 역할별로 분리한 통합 아키텍처 구성
- Kafka Streams 기반 Delayed Queue 패턴으로 invalidated, retry 토픽을 두고 지연 재처리 수행
- Slack 배치 알림으로 재처리 결과를 단계별 확인 가능하게 구성
성능/운영 포인트
- 입고 확정에 Two-Phase Commit과 Spring 이벤트 리스너 적용
- 적치, 이동, 보충, 할당 과정에 Redis 분산 락 도입
- 할당·피킹 지시를 Bulk Commit, Parallel Async로 최적화하고 DataDog·Slack으로 모니터링 강화