사내 지식으로 Agentic RAG 만들기 (2/3) : 검색을 얹기, LightRAG와 Navigator
AI
사내 지식으로 Agentic RAG 만들기 (2/3) : 검색을 얹기, LightRAG와 Navigator
두줄요약
벡터 검색 한계를 보완하기 위해 LightRAG와 Neo4j 기반 Navigator를 결합했습니다. 프롬프트·청킹·적재 방식을 개선해 검색 정확도와 대규모 운영 효율을 높였습니다.
문제 상황
- 벡터 검색만으로 분산된 문서 조각 간 관계와 문서의 계층적 위치 판별 한계
- 키워드 변경과 문서 열람을 반복하는 느리고 비용 높은 에이전트 검색
- 동일하거나 유사한 제목의 문서를 B2C/B2B 폴더, Jira Epic 맥락으로 구분해야 하는 요구
구조와 흐름
- LightRAG의 Entity·Relation 지식 그래프와 Entity·Relation·청크 벡터 인덱스 결합 검색
- Navigator의 Confluence 트리·Jira 계층 원본 보존형 Neo4j 그래프 모델
- 의미 기반 후보 축소 후 계층 탐색으로 문서 위치와 주변 맥락 확인하는 리트리버 분업
해결 방법
- LightRAG 갱신을 삭제·삭제 완료 확인·재업로드로 처리하고 실패 인덱싱 알림·재처리 자동화
- 사내 문서용 Entity type, 한영 인물 표기 규칙, 도메인 few-shot, 간소화 프롬프트 적용
- 헤딩·문단 기반 청킹과 임베딩 시 계층 경로 부착, Confluence·Jira 문서 형태별 분리 청킹
성능/운영 포인트
- 노이즈 Entity 86% 감소와 검색 정확도 76%에서 84%로 개선
- Neo4j MERGE 키 인덱스, 팀 단위 배치, 모델명 포함 콘텐츠 해싱으로 전사 확장 대응
- Navigator 적재 시간 약 81% 단축과 메모리 사용률 40% 감소
