토스·2024년 11월 26일

데브옵스

LLM 쉽고 빠르게 서빙하기

LLM을 서비스에 적용할 때의 속도와 서빙 복잡도를 줄이는 방법을 소개했습니다. vllm, Triton, Kserve를 활용해 쉽게 배포하고 운영하는 흐름을 정리했습니다.