Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지

Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.
#LitServe#GPU
2400

Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.


Aurora MySQL의 밸런싱 편중과 RDS Proxy의 운영·비용 제약을 해결하기 위해 MaxScale 전환을 검토하고 적용했습니다. Autoscaling과 failover까지 고려한 자동화 구성으로 CPU와 connection 분산을 안정화했습니다.

Kubernetes HPA에서 Prometheus와 prometheus-adapter로 RPS Custom Metric을 노출하는 방법을 설명했습니다. Istio 메트릭 기반 RPS와 CPU 기준을 함께 설정해 pod 수를 확장합니다.