목록 보기
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
AI

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

마켓컬리
마켓컬리
2024년 9월 25일

두줄요약

베스트 리뷰 요약의 범용성·시의성 한계를 해결하기 위해 LLM 리뷰 선별을 실험했습니다. CoT와 판단 근거 응답을 적용해 검수 정확성과 결론의 투명성을 높였습니다.

문제 상황

  • 베스트 리뷰 기반 요약의 제한된 대상 상품과 최신성 부족
  • 단일 베스트 리뷰 요약 시 원문과 중복되는 불필요한 콘텐츠
  • 요약 대상 확장과 유용한 비정형 리뷰 선별 필요

해결 방법

  • 최신성·상품 관련성·부정성·정보 제공도를 기준으로 리뷰 선별
  • LLM 프롬프트에 true/false 판별과 판단 근거 응답 요구
  • 검증 조건을 순차 단계로 분해한 CoT 기반 프롬프트 적용

선택 이유

  • 문맥 파악·요약·추론 역량을 활용한 비정형 텍스트 검수
  • 별도 ML 모델 구축·튜닝 없이 프롬프트 중심의 선별 실험

주의할 점

  • LLM 필터링 결과만으로는 신뢰성 검증 부족
  • 판단 근거 모니터링과 오류 사례 기반 프롬프트 지속 개선 필요

다음 읽기

#LLM 주제를 이어서 읽기

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.

마켓컬리
마켓컬리
AI

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...