이 게시물은 Amazon EKS와 Spot 인스턴스 기반으로 Config의 대규모 RFM 데이터 전처리 파이프라인 마이그레이션 사례를 공유합니다.

핵심 요약

• 아키텍처 전환: SQS+Lambda에서 EKS+RabbitMQ+KEDA+Karpenter+Spot으로 마이그레이션
• Job별 동적 큐 패턴 도입으로 다중 사용자 완전 병렬 처리 가능
• Spot 활용으로 컴퓨팅 비용 70~90% 절감, 처리 시간 수 일→수 시간 단축
• Spot 중단 대비: Karpenter+EventBridge 기반 노드 드레인, 워커 SIGTERM 핸들러로 안전한 NACK 및 재처리
• RabbitMQ Quorum Queue 및 DLQ 설정으로 메시지 내구성·자동 정리·재시도 확보