AI
머신러닝을 활용한 검색 품질 지표 개발 (SIGIR’23 Paper Recap)
두줄요약
검색 품질 평가는 질의와 결과 유형에 따라 기준이 달라져 단일 지표로 다루기 어렵습니다. 사용자 로그와 만족도 레이블을 결합한 머신러닝 지표로 이를 해결했습니다.
핵심 내용
- 검색 품질 평가의 복잡성 정리: 질의·사용자·시간·비즈니스 목표·결과 유형에 따라 품질 정의가 달라짐
- 사용자 로그 기반 User Success와 User Effort를 머신러닝으로 결합해 검색 품질 지표(SQM) 설계
- 오프라인 5점 만족도 레이블과 EBM을 활용해 비선형 관계를 해석 가능하게 모델링
- 정답형·탐색형 질의를 구분해 서로 다른 기준으로 만족도를 계산하고, 연간 품질 KPI와 실험 의사결정에 활용
적용해볼 점
- 온라인 로그와 오프라인 레이블을 함께 써서 지표의 편향 보완
- 해석 가능성과 성능을 함께 고려한 모델 선택
- 검색 결과 유형별로 다른 품질 기준을 두는 접근 검토