AI
요즘 뜬다는 FDE, 왜 Voice AI랑 싸우고 있을까?
두줄요약
Voice ALF의 반복 전화 QA를 고객 역할 AI와 텍스트 기반 실행기로 자동화했습니다. 실행 기록 기반 평가로 상담 흐름을 검증하고 직접 통화 부담을 줄였습니다.
문제 상황
- Voice ALF Task 배포 전 사람의 반복 전화 검증으로 시나리오 증가에 따른 QA 시간·부담 확대
- 고객 응답 대기 생략, 동일 질문 반복, 특정 노드 정지 등 재현성 있는 상담 흐름 오류
해결 방법
- 고객 역할 AI와 텍스트 기반 테스트 실행기를 연결한 병렬 상담 시나리오 검증
- text_done 수신 후 대화 차례 번호를 확인해 speech_done 이벤트를 전송하는 재생 완료 신호 모사
- 시나리오 준비·실행·평가·리포트 작성을 AI 에이전트 스킬로 통합
성능/운영 포인트
- 대화 내용과 실제 실행 기록을 대조해 Task 완료 외 고객 응답 반영·노드 지시 이행까지 평가
- 여덟 평가 항목 전체 충족 시 PASS, 하나라도 미충족 시 FAIL 판정
- 직접 통화 검증 횟수 약 50회에서 5회, 또는 기존 약 20% 수준으로 감소
적용해볼 점
- 초안 작성 단계부터 자동 QA와 지시문 수정·재검증 반복
- 시나리오 조건 변경을 통한 과적합 점검
- 향후 실제 전화망 연결로 STT·TTS·발화 중 끼어들기까지 검증 범위 확장
