AI
프론티어 모델 대신, 우리 모델이 모든 상담을 분석합니다
두줄요약
상담 분석 세 작업을 자체 멀티태스크 모델로 전환해 상용 LLM보다 높은 성능을 확보했습니다.\n골든셋 기반 평가와 서빙 최적화로 비용을 99.4% 절감하고 운영 체계를 구축했습니다.
문제 상황
- 모든 상담의 핵심 이슈 추출·토픽 배정·상담 평가를 상용 LLM으로 수행하며 증가하는 API 비용 부담
- CSAT의 낮은 응답률·극단 응답·주관성으로 전수 상담 품질 관리의 한계
해결 방법
- CX팀 Rubric과 학습 데이터에서 분리된 1만 2천 건 골든셋 기반 평가 체계 구축
- Distillation 데이터 분포 불일치와 다중 작업 간 Gradient Conflict를 실험으로 조정
- 세 작업을 처리하는 자체 Multi-task 단일 모델 전 고객사 배포
성능/운영 포인트
- 상용 LLM 대비 세 작업 성능 개선 및 API 비용 99.4% 절감, 연간 약 6억 원 순절감 추정
- Multi-LoRA 대비 p95 TTFT 약 16배 개선, throughput 54.4% 향상, 필요 인스턴스 절반 수준
- neutral 판정 증가 원인 분석과 Retraining Trigger·학습~배포 자동화 체계 구축
적용해볼 점
- 정답이 모호한 LLM 작업에서 현업 기준 Rubric과 독립 골든셋 우선 구축
- 전체 점수 외 Acquisition·Regression과 실제 고객사 데이터 분포 지속 점검