Velopers

새로운 기술 블로그가 추가되었어요

아임웹

오늘 새 글

0개

오늘 조회수

62회

최근 7일 인기 글AI로 웹 엔지니어 없이 LINE 앱 안에서 그룹 영상 통화 서비스 만들기라인 · 54회최근 30일 활발한 블로그AWS23개 발행 · 총 388개 · 18,938회
필터 1
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
네이버 D2
AI

Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지

Ray를 활용해 GPU Util 100% 배치 처리와 확장 가능한 모델 서빙 아키텍처를 소개했습니다. Ray Serve와 vLLM 기반 LLM 추론 파이프라인 및 운영 사례도 다뤘습니다.

#Ray#MLOps
226005분