AI
문서 청크 지식 생성을 통한 생성형 검색 시스템의 정확도 향상 방법
두줄요약
생성형 검색의 어휘 불일치 문제를 줄이기 위해 청크 단위로 키워드, 제목, 후보 질문을 함께 생성하는 모델을 소개했습니다. 낮은 메모리 사용률로도 검색 정확도 향상과 실시간 RAG 적용 가능성을 확인했습니다.
핵심 내용
- 생성형 검색 시스템의 어휘 불일치 문제를 줄이기 위한 청크지식생성모델 구조 소개
- T5 기반 멀티태스크로 청크에서 키워드, 제목, 후보 질문을 병렬 생성해 검색 보조 정보 확장
- Qdrant와 E5-large 조합 실험에서 생성 결과를 청크와 함께 활용할 때 검색 정확도 향상 확인
- LLM 없이도 낮은 GPU 메모리 사용률과 실시간 응답 가능성을 확보한 경량 RAG 접근 제시