

전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로
THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.


THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.


MSA 분산 로그 증가로 발생한 MongoDB 비용과 성능 문제를 데이터 티어링으로 해결했습니다. 최근 로그는 MongoDB에, 장기 로그는 S3에 자동 이관해 저장 비용과 메모리 부하를 줄였습니다.


EKS 배포와 MongoDB Atlas 업그레이드가 겹친 연결 지연 장애를 분석했습니다. DNS 캐시와 드라이버 Timeout·읽기/쓰기 정책을 명시해 대응했습니다.


DB 변경을 Git PR과 자동 검증 파이프라인으로 관리하고, 조회·분석은 포털로 셀프서비스화했습니다. LLM 리뷰와 안전장치를 결합해 처리 시간을 줄이고 DBRE의 검토 역량을 고도화했습니다.


Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다. 발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

Temporal 도입 부담을 줄이기 위해 기존 인프라 위에 Flowkit이라는 자체 워크플로 라이브러리를 만들었습니다. 배치로 처리하던 접수지연 알림을 주문 단위 워크플로로 바꾸고, 재시도와 멱등성 정책도 선언적으로 다뤘습니다.


단일 DB의 104개 컬렉션을 도메인별 DB 6개로 무중단 분리한 MSA 전환 과정을 정리했습니다. 서비스 경계, 데이터 일관성, CDC 기반 이관과 검증 포인트를 함께 다뤘습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

MSA 전환의 원칙과 경계 설정, 통신 패턴, 데이터 일관성 전략을 단계적으로 정리했습니다. 또한 MongoDB Atlas에서 단일 DB를 도메인별 DB로 무중단 분리한 실전 과정을 공유했습니다.

전시 상품 API의 Redis 병목과 캐시 단일 의존 문제를 구조적으로 개선했습니다. Kafka CDC, 병렬 처리, 다단계 조회로 더 빠르고 무너지지 않는 서빙 구조를 만들었습니다.


MongoDB Online Archive 도입 과정에서 저장 비용뿐 아니라 조회 비용과 탐색 전략까지 함께 재설계했습니다. OFFSET 기반 조회를 Cursor 기반 순차 조회로 바꿔 비용과 메모리 사용량을 줄였습니다.

기획전 API의 중복 조회와 중첩 저장 구조를 분리해 성능을 개선한 사례를 다뤘습니다. 다만 구조 분리만으로는 충분하지 않아 실제 조회 패턴과 운영 부하까지 함께 고려해야 했습니다.


Amazon DocumentDB로 전환하며 발생한 인덱스와 쿼리 성능 문제를 여러 사례로 정리했습니다. 쿼리 플래너 차이와 운영 포인트까지 함께 다뤘습니다.

MongoDB Atlas의 IOPS 병목과 비용 문제를 해결하기 위해 Amazon DocumentDB로 전환했습니다. 실시간 협업 서비스의 응답속도를 50% 개선하고 비용도 30% 절감했습니다.


Amazon DocumentDB 전환 후 발생한 인덱스와 쿼리 성능 문제를 실제 사례로 정리했습니다. explain, profiler, 인덱스 재설계와 쿼리 변경으로 성능을 개선했습니다.