AI
Argo Workflows와 SageMaker로 추천 ML 파이프라인 구축기
두줄요약
Argo Workflows와 SageMaker를 결합해 추천 모델 산출물을 세대 단위로 안전하게 교체했습니다. 활성 키 기반 컷오버와 승급 게이트, 웜업으로 일일 ML 배포를 자동화했습니다.
문제 상황
- 추론 엔드포인트, DynamoDB 유저 임베딩, OpenSearch 아이템 인덱스의 분산된 추천 모델 산출물
- 세대가 다른 벡터 혼용 시 추천 품질 저하 위험
- 매일 자동 학습·배포 중 실패가 라이브 서비스에 미치는 영향 차단 필요
구조와 흐름
- Argo CronWorkflow 기반 학습·배포·피처 적재·색인·컷오버 순차 오케스트레이션
- SageMaker 기반 GPU 학습, Model Registry 승인 상태 관리, 실시간 추론 엔드포인트 운영
- ElastiCache
sdm:active활성 키와 세대별 포인터로 모델·DynamoDB·OpenSearch 대상 일괄 전환
선택 이유
- EKS 표준 환경과 언어 독립적 워크플로우 정의를 고려한 Argo Workflows 선택
- GPU 노드 운영·스케줄링·모델 레지스트리 부담 완화를 위한 SageMaker 선택
- 분산 저장소 트랜잭션 대신 활성 키 하나로 전환 지점 집중
성능/운영 포인트
- 챔피언·챌린저 비교와 성공률·에러·벡터 수·지연 기반 승급 게이트
- Weight 0 Variant 사전 배포와 추론 컨테이너 Forward pass 웜업으로 콜드 스타트 지연 완화
- 멱등 쓰기, 제출·대기 분리 재시도, 실행 중복 방지로 재실행과 장애 복구 단순화
