AI
AutoML로 다음주의 가성비 Spot 인스턴스 AZ/Type 예측하기
두줄요약
AWS EMR의 Spot Instance 비용을 줄이기 위해 Zone과 Type별 가격 데이터를 수집해 AutoGluon으로 예측했습니다. 예측 평균을 바탕으로 다음 주에 더 저렴한 AZ와 Instance Type을 추천하고 운영 비용 절감 가능성을 확인했습니다.
문제 상황
- AWS EMR 배치 처리에서 Spot Instance를 사용하지만, Zone과 Instance Type별 가격 변동이 커서 저렴한 조합을 찾기 어려움
- 동일한 성능에도 비용 차이가 발생해 다음 주 기준의 가성비 높은 AZ와 Type을 미리 정하고자 하는 필요
해결 방법
- AWS EC2 Spot 가격 이력을 수집해 Zone과 Instance Type별 데이터셋 구성
- item_id, timestamp, target 형식으로 전처리하고 1시간 단위 보간으로 시계열 학습 데이터 정리
- AutoGluon TimeSeriesPredictor로 2주 요금을 예측한 뒤 평균값 기준으로 저렴한 AZ와 Instance Type 추천
성능/운영 포인트
- 최근 90일 제한 때문에 장기 예측 품질을 위해 미리 6개월가량의 Spot 데이터를 확보
- MAE와 SMAPE로 예측 성능 점검, 예측 결과를 기반으로 EMR Subnet과 Fleet 구성을 사전 조정
- 특정 Type 부족으로 인한 장애를 막기 위해 Fleet 여유 설정 필요