[AI Ready Data] 업무 질문과 정답 근거로 확인하는 검색 품질 평가
두줄요약
업무 질문 기반 골든셋으로 검색 근거의 충족도와 순서 품질을 분리 평가하는 방법을 설명합니다. 실패·누락·핵심 예외 문항을 함께 기록해 변경 전후를 비교합니다.
문제 상황
- 자연스러운 AI 답변과 별개로 업무 질문에 필요한 예외·조건 근거의 검색 여부 확인 필요
- 평균 점수만으로는 핵심 문항의 누락·악화·평가 실패 은폐 가능성
구조와 흐름
- 질문·기준 답변·원문 근거·문서 개정 정보를 포함한 골든셋 구성 및 입력 검증
- 실제 검색 경로에서 문맥과 실행 조건을 수집하고, 근거 충족도와 검색 순서 품질을 분리 평가
- 점수, 실패, 미기록, 변경 전후 공통 문항의 변화와 판정 이유를 함께 기록
성능/운영 포인트
- 근거 충족도는 기준 답변의 사실별 뒷받침 비율, 검색 순서 품질은 관련 문맥의 순위별 누적 정밀도
- 빈 검색 결과의 0점과 모델 판정 실패·저장 실패·미기록의 분리 집계
- 문항당 1+K회 평가 호출 가능성에 따른 비용·대기 시간 확인
적용해볼 점
- 문서 변경 시 평가셋과 원문 개정을 함께 관리하고 업무 전문가의 핵심 예외 문항 유지
- 검색·분할·임베딩 등 비교 조건을 고정하고, 평균 외 중요 문항의 악화와 사용자 피드백 검토




