Velopers 홈

오늘 새 글

0개

오늘 조회수

150회

필터 1

Config의 Amazon EKS Spot 기반 대규모 RFM 데이터 파이프라인 구축

EKS와 Spot, RabbitMQ, KEDA, Karpenter를 결합해 대규모 데이터 전처리 파이프라인을 구축했습니다. 단일 큐 병목을 없애 비용을 크게 줄이고 처리 시간도 수 일에서 수 시간으로 단축했습니다.

여러 MSA의 공통 설정 변경을 재배포 없이 반영하기 위해 Spring Cloud Config와 Bus-Refresh를 도입했습니다. 그 결과 배포 시간이 크게 줄고 운영 중 설정 변경 대응이 쉬워졌습니다.

대량 쿠폰 발급 중 RabbitMQ Classic Queue 메모리 장애와 동기화 실패 원인을 분석했습니다. 긴급 복구 후 버전 업그레이드와 Quorum Queue 전환으로 안정성을 높였습니다.

실시간 웹한글 편집의 I/O 병목과 블로킹 한계를 해결하기 위해 WebFlux와 Project Reactor로 전환했습니다. 블로킹 작업 분리, 커스텀 스케줄러, graceful shutdown, Context 추적으로 안정성과 관찰성을 높였습니다.

오픈뱅킹 단일 시스템에 있던 카드 청구금액 알림 서비스를 별도 시스템으로 분리한 이관 과정을 공유했습니다.외부 의존성과 재처리, 검증 전략 조정 과정을 통해 안정적으로 전환한 경험을 정리했습니다.

프리즘의 메시지 브로커를 SQS, Kafka, RabbitMQ 순으로 바꾼 이유를 정리했습니다. 요구 사항에 맞는 전달 보장과 스케일링, 분배 특성이 선택의 핵심이었습니다.

대량 쿠폰 발급을 Direct Exchange 기반 구조에서 Fanout Exchange 기반 분산 구조로 개선했습니다. 그 결과 작업 시간을 크게 줄이고 백오피스 의존성을 낮춰 운영 안정성을 높였습니다.