
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
두줄요약
베스트 리뷰 요약의 범용성·시의성 한계를 해결하기 위해 LLM 리뷰 선별을 실험했습니다. CoT와 판단 근거 응답을 적용해 검수 정확성과 결론의 투명성을 높였습니다.
문제 상황
- 베스트 리뷰 기반 요약의 제한된 대상 상품과 최신성 부족
- 단일 베스트 리뷰 요약 시 원문과 중복되는 불필요한 콘텐츠
- 요약 대상 확장과 유용한 비정형 리뷰 선별 필요
해결 방법
- 최신성·상품 관련성·부정성·정보 제공도를 기준으로 리뷰 선별
- LLM 프롬프트에 true/false 판별과 판단 근거 응답 요구
- 검증 조건을 순차 단계로 분해한 CoT 기반 프롬프트 적용
선택 이유
- 문맥 파악·요약·추론 역량을 활용한 비정형 텍스트 검수
- 별도 ML 모델 구축·튜닝 없이 프롬프트 중심의 선별 실험
주의할 점
- LLM 필터링 결과만으로는 신뢰성 검증 부족
- 판단 근거 모니터링과 오류 사례 기반 프롬프트 지속 개선 필요


