AI
AI에게 도메인을 가르치다 두 번 갈아엎은 이야기 — LLM Wiki + RAG 혼합기
두줄요약
LLM Wiki 검색을 색인, 본문 임베딩, 요약 임베딩과 FTS5 혼합 방식으로 개선했습니다. 의미 검색과 약어·식별자 정확 검색을 분리해 비용과 검색 품질 문제를 다뤘습니다.
문제 상황
- 사내 도메인 지식을 LLM에 제공하기 위한 LLM Wiki 구축
- 문서 증가에 따른 토큰 비용, 컨텍스트 누락, 무관 문서 참조 문제
구조와 흐름
- Inverted Index의 키워드-문서 매핑 기반 검색과 동의어·의미 매칭 한계
- sqlite-vec와 multilingual-e5-small 기반 본문 임베딩의 의미 검색 전환
- 요약 임베딩 top 3과 SQLite FTS5 본문 키워드 검색 top 2의 결합·중복 제거
해결 방법
- 다주제 문서의 주제별 분리와 한 문서·한 요약·한 의도 원칙
- LLM 생성 한 줄 요약과 별칭·키워드의 임베딩 입력 분리
- 약어·티켓 ID 정확 매칭을 FTS5와 BM25 채널에 위임
성능/운영 포인트
- 100~200토큰 요약 임베딩으로 truncation 구조적 차단
- summary 메타데이터 기반 1차 판단으로 본문 Read 횟수 절감
- 일반어 노이즈와 summary 품질 편차, 헤딩 단위 청킹·동적 가중치·품질 평가 개선 후보
