다나와의 상품 색인 파이프라인
백엔드
다나와의 상품 색인 파이프라인
두줄요약
다나와 상품 색인 파이프라인을 logstash로 이관해 유지보수성을 높이고 MQ 의존성을 줄였습니다. 1G 로그 처리 테스트에서는 기존 대비 처리 시간이 크게 줄어 성능 개선도 확인했습니다.
문제 상황
- 약 11억 건의 상품 데이터를 처리하는 동적 색인 파이프라인의 유지보수 부담
- Queue Loader의 자바 보일러플레이트와 SOLID 미준수로 인한 MQ 의존성 확대
- 데이터 유실 방어 미흡과 서비스 이관 시 수정 범위 증가
해결 방법
- logstash 도입으로 수집, 전환, 전송을 파이프라인 설정 중심으로 대체
- output 변경만으로 MQ 이관이 가능하도록 구조 단순화
- sincedb, filter, dead letter queue를 활용한 재처리와 장애 대응
성능/운영 포인트
- 1G 로그 파일 처리 기준 기존 서비스 약 25초, logstash 약 5초 수준
- 모듈형 파이프라인과 glob 기반 구성으로 정책별 분기와 재사용성 향상
- 관리 서비스 수 감소로 핵심 비즈니스 로직 집중 용이