Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.
#LitServe#GPU#H100
2400
Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
autoscaling 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 1개 · 많이 쓴 회사 타다·마키나락스·스캐터랩 핑퐁
5개 표시
Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.
Runway 추론 서비스의 Autoscaling 과정에 자원 한도 검증을 추가해 멀티테넌트 환경의 비용과 안정성을 함께 개선했습니다. Kubernetes Admission Webhook과 Runway API를 연동해 KPA와 HPA 모두에 일관된 정책을 적용했습니다.

Aurora MySQL의 밸런싱 편중과 RDS Proxy의 운영·비용 제약을 해결하기 위해 MaxScale 전환을 검토하고 적용했습니다. Autoscaling과 failover까지 고려한 자동화 구성으로 CPU와 connection 분산을 안정화했습니다.

Kubernetes HPA에서 Prometheus와 prometheus-adapter로 RPS Custom Metric을 노출하는 방법을 설명했습니다. Istio 메트릭 기반 RPS와 CPU 기준을 함께 설정해 pod 수를 확장합니다.
ELB의 장기 대량 TCP 연결과 프로토콜 복잡성 문제를 해결하기 위해 프레젠터 게이트웨이를 구축했습니다. TCP 멀티플렉싱, C++ 연결 처리, Route53 가중치 라우팅으로 성능과 운영성을 확보했습니다.