JEV의 판정 계약을 사내 LLM에 적용하기
AI
JEV의 판정 계약을 사내 LLM에 적용하기
두줄요약
JEV의 질문·답 계약을 LLM Gateway 판정 API로 구현해 사내 소형 LLM에 적용했습니다. 출력 간소화로 지연 시간을 줄이고 라벨 오류 항목만 재판정했습니다.
문제 상황
- 채팅형 LLM에 분류·등급 산정을 요청할 때 텍스트 파싱과 재시도 작업 발생
- 기존 리뷰의 라벨 오류로 CodeReviewWar 탈락 사례
구조와 흐름
- JEV의 질문·답 형식을 LLM Gateway 판정 API로 구현
- 사내 소형 LLM에 짧은 판정 요청 위임
- 라벨 오류로 지적된 항목만 재판정하는 기능 적용
성능/운영 포인트
- 출력 간소화 실험으로 항목당 지연 시간 1,534ms에서 804ms로 단축
- 기존 리뷰 보존을 위한 적용 원칙 제시
적용해볼 점
- 텍스트 응답 파싱 부담이 큰 분류 작업의 판정 계약 API 전환
- 오류가 확인된 라벨 중심의 선택적 재판정
