[AI Agent] 상담 흐름과 오류를 검증하는 API 테스트 설계
두줄요약
고객 컨택 AI Agent의 검색·질의·저장 흐름을 API 계약과 상담 시나리오 관점에서 검증하는 방법을 정리했습니다. 테스트 더블·통합 테스트·품질 회귀를 분리하고 CI 배포 기준으로 함께 운영합니다.
문제 상황
- 검색·상세 질의·즐겨찾기 API의 개별 성공만으로 보장되지 않는 상담 흐름
- 대표 문서와 첨부, 묶음 ID, 세션·사용자 기록 전달 누락에 따른 상담 단절 위험
구조와 흐름
- 사용자 행동 기준의 상태 확인·이벤트 검색·묶음 기반 질의·즐겨찾기·최근 본 기록 연결
- 정적 검증, 단위 테스트, API 계약 테스트, 통합 테스트, 상담 시나리오, 평가 회귀의 단계적 구성
- 사용자·그룹·세션·묶음 ID별 역할과 소유자·접근 권한 검증 분리
해결 방법
- FastAPI 의존성 재정의와 테스트 더블로 헤더·본문·오류 응답·서비스 호출 경계 검증
- 대표 문서와 첨부의 동일 묶음, 파일 중복·누락, 기간 경계, 사용자 간 기록 격리 점검
- 실제 DB·검색·인증 연결과 모델 근거 전달을 별도 통합 테스트로 확인
성능/운영 포인트
- CI에서 API 계약과 대표 질문 기반 품질 회귀를 독립된 배포 기준으로 운영
- 문서·인덱스·평가셋·검색 설정 버전 기록과 Recall@k 기반 검색 회귀 확인
- 응답 시간, 검색·묶음 조회·모델 시간, p95·오류율·처리량의 동시 비교



