Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
Ray를 활용해 GPU Util 100% 배치 처리와 확장 가능한 모델 서빙 아키텍처를 소개했습니다. Ray Serve와 vLLM 기반 LLM 추론 파이프라인 및 운영 사례도 다뤘습니다.
#Ray#MLOps
24200
새로운 기술 블로그가 추가되었어요
Ray를 활용해 GPU Util 100% 배치 처리와 확장 가능한 모델 서빙 아키텍처를 소개했습니다. Ray Serve와 vLLM 기반 LLM 추론 파이프라인 및 운영 사례도 다뤘습니다.
AWS Inferentia로 TensorFlow RoBERTa 모델을 컴파일하고 GPU 인스턴스와 비용·성능을 비교했습니다. 1000RPS 기준 Inferentia의 높은 비용 효율과 동적 그래프 제약을 함께 정리했습니다.