
LLM을 믿기 전에, 의심부터 했습니다
두줄요약
LLM이 만든 결과를 그대로 믿지 않고, JSON Schema와 Validator로 원문 근거를 검증하는 구조를 소개했습니다. 누락은 질문으로 남기고, 오류 응답과 실행 기록을 보존해 회귀 평가에 활용했습니다.
핵심 내용
- LLM을 업무 문서 구조화에 쓸 때는 완성된 정답 생성보다 구조화 후보 생성으로 역할을 제한
- JSON Schema, Structured Output, 결정적 Validator로 형식 검증과 의미 검증을 분리
- 입력 문장 커버리지, 원문 근거 Evidence, 누락 질문, 제한적 Repair로 잘못된 추측과 누락 방지
- 검증 실패 응답과 실행 기록을 보존해 회귀 평가와 원인 추적에 활용

