AI
손가락 튕기기로 LLM 비용 줄이기
두줄요약
SNAP은 LLM 로그를 작업별로 분류하고 소형 모델 학습 후보를 자동 발굴했습니다. 신뢰도 기반 폴백으로 품질을 유지하며 검증된 요청부터 LLM 비용을 줄였습니다.
문제 상황
- 대용량 LLM 호출 확대로 발생한 비용 및 지연 시간 부담
- 모든 작업에 범용 LLM 수준의 복잡한 추론 능력이 필요한 것은 아닌 상황
구조와 흐름
- System Prompt 앞부분 해시 기반 Task Fingerprint로 이질적 호출 로그를 작업 단위 분류
- 비용 기준 후보 선정, 레이블·데이터셋 검증, 소형 모델 학습·레지스트리 등록을 Airflow 일일 배치로 자동화
- Confidence가 임계값 이상인 요청만 내재화 모델 결과 채택, 미달 요청은 기존 LLM으로 폴백
성능/운영 포인트
- 동일상품 판별 작업에서 목표 일치율 99.9%, 오프라인 Coverage 34.74% 조건 선택
- 배포 후 6일간 내재화 모델 처리 비율 약 33~37%, 입력 토큰 약 76억 개와 출력 토큰 약 4,520만 개 절감
- 초당 1,203건 구간에서 p50 9.02ms, p99 15.23ms, 요청 실패·드롭 없음
트레이드오프
- 전체 요청 내재화보다 검증된 고신뢰도 구간 우선 전환으로 초기 적용 기간과 투자 부담 축소
- 목표 일치율을 낮출수록 Coverage 확대, 작업별 요구 품질에 따른 임계값 선택 필요
