RAG 없이 20만 대 자동차와 실시간으로 대화하기 (1)

문제 상황

• 20만 대 차량의 실시간 등록·판매·가격 변경 정보를 바탕으로 답변해야 하는 차량 전문 AI 필요
• 정적 문서 중심의 RAG를 실시간 정형 데이터에 적용할 때 동기화 지연과 데이터 불일치 우려

원인 분석

• 운영 DB 변경을 벡터 DB에 반영하는 과정에서 부하, 임베딩 비용, 반영 지연 발생
• 검색된 청크만으로 답변을 만들면 원본 전체 맥락과 예외 조항을 놓칠 위험 존재
• 사용자 질문이 조금만 달라도 검색 청크 조합이 달라져 프롬프트 캐싱 효율 저하

해결 방법

• 검색 후 생성 대신 필요한 실시간 정보를 API로 동적으로 조합해 LLM에 직접 전달하는 방식 채택
• 특정 차량 전체 데이터를 프롬프트의 고정 컨텍스트로 두어 캐싱 효율 극대화
• 다음 편에서 실시간 API 오케스트레이터 설계와 구현을 다룰 예정