AI
LLM은 언제 ＂모른다＂고 말해야 하는가
두줄요약
LLM은 정답을 맞히는 능력만큼, 모를 때 멈추는 능력도 중요하다고 정리했습니다. 모델 크기나 추론 강화만으로는 부족해, 별도의 평가와 정렬 설계가 필요했습니다.
핵심 내용
- LLM의 정확도와 별개로, 답할 수 없을 때 "모른다"고 말하는 abstention/refusal 능력의 중요성 정리
- AbstentionBench와 RefusalBench를 통해, 현재 모델들이 불완전한 질문이나 결함 있는 근거를 만나도 자신만만하게 답하는 한계 확인
- 모델 규모 확대나 reasoning 강화만으로는 개선이 제한적이며, 오히려 과도한 확신으로 abstention이 약화될 수 있음
- system prompt, 데이터 보강, 정렬 학습, 보상 설계 개선처럼 명시적으로 abstention을 다루는 접근 필요
적용해볼 점
- 평가 파이프라인에 abstention 측정 항목 포함 검토
- reasoning 모델 도입 시 정확도와 신뢰성의 동시 점검 필요
- underspecified, 모순, 결함 입력을 학습·정렬 데이터에 반영하는 설계 고려