똑쿼리 고도화 일대기
AI
똑쿼리 고도화 일대기
두줄요약
똑쿼리는 사내 데이터와 문서를 자연어로 조회하는 서비스로, 슬랙 기반 채팅 에이전트에서 LangGraph 기반 구조로 고도화했습니다. Router 패턴과 RAG 개선을 통해 응답 속도와 정확도를 높였고, OpenWebUI로 사용자 경험도 개선했습니다.
핵심 내용
- 전사 데이터, 사내 문서, 정책을 LLM으로 조회하는 사내 서비스 똑쿼리의 탄생 배경과 고도화 과정
- 초기 슬랙 기반 채팅 에이전트의 CoT 중심 구현 한계를 해결하기 위해 LangGraph를 도입해 상태 기반 워크플로우로 재구성
- 슬랙 스레드 요약, 스레드 임베딩, 자연어 질의응답으로 기능을 확장하고, 문서·데이터·지라 에이전트로 분리해 처리
- Supervisor 패턴에서 Router 패턴으로 변경해 응답 속도와 전달 품질을 개선하고, MultiQueryRetriever와 문서 재정렬로 RAG 정확도를 보완
성능/운영 포인트
- 슬랙의 스트리밍 부재, 길이 제한, 포맷팅 부담, 피드백 수집 난이도 때문에 OpenWebUI로 인터페이스를 전환
- Router 패턴 적용 후 불필요한 재호출 감소와 응답 속도 65.9% 향상
- 멀티모달 지원, 정량 평가, 피드백 루프, LLMOps 체계가 향후 과제로 제시됨