국내 IT 기업 기술 블로그 최신 글

새로운 기술 블로그가 추가되었어요

필터 1

함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 2부

실시간 장바구니 추천을 위해 EKS·TorchServe 중심의 모델 서빙과 MLOps 아키텍처를 구축했습니다. CPU 성능, warm up, GracefulShutdown으로 지연시간과 배포 안정성을 개선했습니다.

왓챠는 추천 서비스의 Monolithic 추론 구조를 분리된 TorchServe 기반 서버로 개선했습니다. CPU 최적화와 모델 경량화, Datadog 모니터링으로 성능과 안정성을 함께 높였습니다.

GPU 모델 서버를 CPU 서버로 전환하면서 성능 저하를 막기 위해 worker, thread, IPEX, KD를 함께 최적화했습니다. 그 결과 서비스 품질을 유지하며 GPU 자원을 절감했습니다.