AI
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
두줄요약
LLM 서빙에서는 단순히 모델을 띄우는 것보다, 지표를 잘 설계하고 원인을 빠르게 추적하는 운영이 중요했습니다. Prefix Cache, finish_reason, KV Cache 같은 신호를 활용해 타임아웃과 처리량 문제를 해결했습니다.
핵심 내용
- LLM 서빙에서 단순 배포보다 지표 기반 운영과 원인 추적이 더 중요해진 상황
- 기존 ML 지표를 토큰 생성 특성에 맞게 재정의하고, Grafana·Kibana·LLM 전용 메트릭을 통합한 모니터링 체계 구축
- Prefix Cache 비활성화, finish_reason length, KV Cache 활용 저조 같은 신호를 통해 타임아웃·에러율·처리량 문제를 발견하고 대응
- 프레임워크 버그와 옵션 의존성이 있어 완전한 사전 차단보다 탐색·검증·롤백 중심 운영이 필요
적용해볼 점
- 응답 시간과 처리량을 LLM 특성에 맞는 TTFT, 초당 생성 토큰 수로 재정의
- 일반 서버 메트릭과 서빙 프레임워크 메트릭을 함께 묶어 관찰
- 알림 이후 로그 탐색과 가설 검증, 빠른 롤백 체계를 운영
