Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
Ray를 활용해 GPU Util 100% 배치 처리와 확장 가능한 모델 서빙 아키텍처를 소개했습니다. Ray Serve와 vLLM 기반 LLM 추론 파이프라인 및 운영 사례도 다뤘습니다.
#Ray#MLOps#GPU
22600
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
태그
모델 서빙 기술 블로그 글
모델 서빙 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 1개최신 1개 표시
관련 태그
최신 게시글
1개 표시