[Tech Series] kt cloud AI 검색 증강 생성(RAG) #5 : 검색 고도화(Retrieval Optimization)와 리랭킹(Re-ranking) 기술

핵심 내용

• RAG 검색 성능을 좌우하는 근거 문서 품질과 첫 검색 정확도의 중요성
• 스파스 검색, dense 검색, 하이브리드 검색, 권한 인지 검색을 조합한 실무형 검색 파이프라인
• Query routing, query rewriting, query decomposition, HyDE로 질문 특성에 맞는 동적 검색 경로 설계
• Cross-encoder, LLM re-ranker, ranking-free selection으로 후보 문서의 정밀 재정렬과 선택 수행

구조와 흐름

• 라우팅으로 질문 난이도와 비용을 판단한 뒤 하이브리드 검색으로 후보군 확대
• 메타데이터 기반 pre-filter로 권한과 버전 조건을 검색 단계에 반영
• 재정렬 단계에서 노이즈를 줄이고 최종 답변용 문서를 압축

선택 이유

• 키워드 검색은 정확한 용어와 수치에 강하고 dense 검색은 의미 일반화에 강점
• 하이브리드는 두 방식의 약점을 상호 보완하며 정답률을 높이는 기본 선택지
• 리랭킹은 후보군에서 진짜 정답을 상위로 끌어올려 컨텍스트 오염을 줄이는 역할

트레이드오프

• 정확도 향상과 응답 지연, 운영 비용 사이의 균형 조정 필요
• 무거운 모델과 복잡한 질의 분해는 성능이 좋지만 비용 폭증 위험 존재
• 쉬운 질문에는 가벼운 경로, 어려운 질문에는 고비용 경로를 쓰는 적응형 배분 필요