마키나락스 · 2025년 5월 27일

데브옵스

AI 서비스의 안정성과 비용 최적화 둘다 잡은 Runway Autoscaling 개발 여정

Runway 추론 서비스의 Autoscaling 과정에 자원 한도 검증을 추가해 멀티테넌트 환경의 비용과 안정성을 함께 개선했습니다. Kubernetes Admission Webhook과 Runway API를 연동해 KPA와 HPA 모두에 일관된 정책을 적용했습니다.