이 게시물은 RAG 기반 사내 AI 챗봇 구축 과정과 에이전트 마이그레이션 경험을 공유하는 글입니다.

초기 구현과 발견된 문제

• AWS Lambda + Bedrock Knowledge Base(OpenSearch Serverless) + Bedrock 모델을 사용한 RAG 기반 슬랙 봇 초기 구현
• 단일 유사도 검색으로 연관 문맥 누락, 자연어 문서 우선화, 최신화 문제로 정확도 저하

검색·응답 품질 개선

• 최종적으로 소스코드만 Knowledge Base에 적재하고 용어 사전으로 비개발자 설명 보완
• 메타데이터 기반 다층 검색으로 호출 관계 추적하여 관련 문서 추가 확보
• 프롬프트 강제 포맷, Few-Shot 예시, 품질 체크리스트로 응답 신뢰도 및 검증성 향상

에이전트 마이그레이션 및 운영

• 컨텍스트 유지와 SQL 검증 필요성으로 AWS Bedrock Agents로 전환
• Action Group으로 SQL 검증·기억 저장·슬랙 전송 도구 구성, 워크플로우와 실패 처리 가이드라인 정의
• 에이전트의 추론 과정과 도구 입출력 로깅으로 응답 근거와 투명성 확보