Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
두줄요약
Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.
문제 상황
- SNOW 16개 Image AI 서비스의 응답 속도·안정성 및 GPU 자원 효율 개선 필요
- 기존 서빙 구조의 불필요한 연산과 CPU·GPU 대기 시간
해결 방법
- LitServe 전환으로 반복 이미지 인코딩·디코딩 제거
- CPU 전처리와 GPU 계산의 대기 시간 축소
- 가벼운 작업의 CPU 분리 및 여러 서비스의 GPU 공동 배치
성능/운영 포인트
- 실제 트래픽 기준 워커·스레드·CPU 한도·코어 고정 파라미터 조정
- Autoscaling 로직 개선과 에이전트 실험·검토 기반 반복 최적화
- 응답 속도, 처리량, 첫 요청 예열, 오류율·취소율, GPU 활용도 개선
적용해볼 점
- H100 환산 67.37장 절감 성과
- 트래픽 기반 자동 최적화와 Image Harness 후속 과제



