이 게시물은 비결정적 AI 워크플로우를 자동으로 QA·개선하기 위한 에이전트 개발 과정을 정리한 글입니다.

시나리오를 DFS로 생성

태스크 그래프에서 시작점~종점까지 도달 가능한 모든 경로를 DFS로 수집해 테스트 시나리오를 만듦.

대화용 테스터를 AI로 전환

agent 노드 응답이 사용자 발화에 따라 달라져 대본만으로는 검증이 어려워 사용자 역할까지 LLM이 연기하도록 설계.

재현성 확보를 위한 데이터 주입

외부 API 호출 대신 DFS 경로에서 필요한 기대값을 memory에 주입해 환경 종속과 호출 결과 변동을 차단.

이벤트 기반 응답 수집

폴링 대신 봇 응답을 webhook으로 push하고 QA 서버가 cloudflared 터널로 콜백을 받아 대화 진행을 동기화.

목표/의도 기반 평가와 진화 루프

단순 visited 비교를 넘어 Plaintext goal·intent 기준으로 pass/fail을 판정하고, 결과지를 바탕으로 프롬프트를 개선해 self-evolving 루프 구성.

비용 손익분기점 고려

테스트용 LLM 호출 비용과 자동화 선불 비용을 비교해 라이브 전 관문 사용 특성 덕분에 손익분기점을 넘길 수 있었음을 설명.