AI
똑쿼리 고도화 일대기
두줄요약
사내 전사 데이터를 자연어로 조회하는 똑쿼리의 고도화 과정을 정리했습니다. LangGraph, 라우터 패턴, OpenWebUI, RAG 개선으로 응답성과 정확도를 높였습니다.
문제 상황
- 전사 데이터, 문서, 사내 규정 조회가 특정 담당자에게 의존되어 컨텍스트 스위칭과 대기 시간이 발생
- 슬랙 기반 질의응답은 스트리밍 부재, 긴 응답 처리, 마크다운 포맷팅, 피드백 수집의 한계 존재
- 슈퍼바이저 패턴과 일반 RAG는 불필요한 재호출, 정보 누락, 검색 정확도 저하 문제 노출
원인 분석
- 단일 채팅 에이전트 중심의 CoT 프롬프트 구조가 복잡한 흐름과 확장성 대응에 취약
- 검색 쿼리의 모호함과 긴 컨텍스트 입력에서의 Lost in the Middle 현상으로 문서 활용 품질 저하
- 여러 에이전트를 종합하는 구조가 실제 사용자 질의 패턴과 잘 맞지 않아 지연만 증가
해결 방법
- LangGraph를 도입해 상태, 노드, 엣지로 흐름을 분리하고 라우팅 기반 워크플로우로 전환
- 슬랙 요약, 스레드 임베딩, 문서/데이터/지라 질의를 각각 전담 에이전트로 분리
- MultiQueryRetriever와 Document Reordering으로 검색 후보를 넓히고 문서 전달 순서를 최적화
성능/운영 포인트
- Router 패턴 전환 후 응답 속도 65.9% 개선
- OpenWebUI 도입으로 스트리밍, 히스토리, 피드백, 마크다운 렌더링을 보완
- LangSmith로 워크플로우 병목을 확인하며 RAG 품질 문제를 추적
