Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
두줄요약
대규모 Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링을 적용한 사례를 소개했습니다. 기본 HPA보다 고도화된 GPU orchestration과 KEDA 활용 배경을 공유했습니다.
핵심 내용
- 대규모 쿠버네티스 GPU 클러스터에서 AI 서비스 트래픽 변화에 대응하기 위한 오토스케일링 사례 소개
- 자체 HPA 시스템과 KEDA를 활용한 GPU orchestration, AI 서비스 운영 관점의 적용 배경과 구성 공유
- GPU 서버 기반 Kubernetes 클러스터 도입, 기본 HPA보다 고도화된 오토스케일링 도입을 고려하는 엔지니어 대상 발표


