엔카믿고 챗봇에 ‘추천질문’을 더하기까지

문제 상황

• 엔카믿고 챗봇의 추천질문이 고정 규칙 기반이라 대화 맥락과 무관하게 동일한 버튼만 노출되는 상태
• 챗봇이 보유한 상세 차량 정보와 정책 정보를 사용자에게 자연스럽게 드러내지 못하는 한계
• SSE 스트리밍 연동, 보증 상태 분기, Structured Output 등 구현 과정에서 반복된 오류와 불안정성

원인 분석

• 기존 코드와 백엔드 간 청크 전달 스펙 차이를 확인하지 않고 참고 코드를 그대로 적용한 점
• 보증 상태와 같은 복잡한 분기를 LLM 프롬프트에만 의존해 처리하려 한 점
• Structured Output이 간헐적으로 응답 중단과 파싱 실패를 유발한 점

해결 방법

• 보증 상태별로 LLM에 전달되는 URL 정보를 동적으로 제어해 잘못된 링크 생성을 차단
• 추천질문 생성은 현재 질문, 대화 히스토리, 이전 추천질문을 함께 넣는 동적 프롬프팅으로 전환
• Structured Output 대신 마크다운 기반 명시적 지침과 JSON 응답 규칙을 사용해 안정성 확보

적용해볼 점

• 여러 시스템이 연결된 기능은 영향 범위와 연동 스펙을 먼저 확인
• 최신 기능보다 현재 상황에 더 단순하고 명확한 방식이 안정적일 수 있음
• 대화형 AI 기능은 맥락과 히스토리 반영으로 사용자 탐색을 자연스럽게 유도