태그

TorchServe 기술 블로그 글

TorchServe 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 3개최신 3개 표시

함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 2부

실시간 장바구니 추천을 위해 EKS·TorchServe 중심의 모델 서빙과 MLOps 아키텍처를 구축했습니다. CPU 성능, warm up, GracefulShutdown으로 지연시간과 배포 안정성을 개선했습니다.

2024년 3월 6일

왓챠는 추천 서비스의 Monolithic 추론 구조를 분리된 TorchServe 기반 서버로 개선했습니다. CPU 최적화와 모델 경량화, Datadog 모니터링으로 성능과 안정성을 함께 높였습니다.

2023년 7월 13일

GPU 모델 서버를 CPU 서버로 전환하면서 성능 저하를 막기 위해 worker, thread, IPEX, KD를 함께 최적화했습니다. 그 결과 서비스 품질을 유지하며 GPU 자원을 절감했습니다.