목록 보기
Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
AI

Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지

네이버 D2
네이버 D2
2026년 11월 16일

두줄요약

Image AI 서빙을 LitServe로 전환하고 CPU·GPU 대기 및 불필요한 연산을 줄였습니다. 트래픽 기반 튜닝과 GPU 공유로 H100 환산 약 67장을 절감했습니다.

문제 상황

  • SNOW 16개 Image AI 서비스의 응답 속도·안정성 및 GPU 자원 효율 개선 필요
  • 기존 서빙 구조의 불필요한 연산과 CPU·GPU 대기 시간

해결 방법

  • LitServe 전환으로 반복 이미지 인코딩·디코딩 제거
  • CPU 전처리와 GPU 계산의 대기 시간 축소
  • 가벼운 작업의 CPU 분리 및 여러 서비스의 GPU 공동 배치

성능/운영 포인트

  • 실제 트래픽 기준 워커·스레드·CPU 한도·코어 고정 파라미터 조정
  • Autoscaling 로직 개선과 에이전트 실험·검토 기반 반복 최적화
  • 응답 속도, 처리량, 첫 요청 예열, 오류율·취소율, GPU 활용도 개선

적용해볼 점

  • H100 환산 67.37장 절감 성과
  • 트래픽 기반 자동 최적화와 Image Harness 후속 과제

네이버 계열사 채용7건

채용 사이트에서 전체 보기

다음 읽기

#GPU 주제를 이어서 읽기

SNOW의 Automatic Sharding 도입기

수천 개의 서비스를 위한 GPU 공유와 모델 서빙 최적화를 다룬 Automatic Sharding 도입 사례를 소개했습니다. Manual Sharding의 한계를 넘어 자동 반영과 안정적 배포 전략까지 함께 공유했습니다.

네이버 D2
네이버 D2
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...