채팅으로 디자인하는 AI, 실제로 쓸까? — A/B 테스트와 사용자 행동 분석기
AI
채팅으로 디자인하는 AI, 실제로 쓸까? — A/B 테스트와 사용자 행동 분석기
두줄요약
AI 디자이너 MVP의 A/B 테스트와 발화 분석으로 이탈 원인을 기능 미지원·응답 지연으로 구분했습니다.\n도구별 우선순위와 캔버스 맥락 활용 가설을 도출해 응답시간 개선과 제품 방향 논의에 반영했습니다.
문제 상황
- 채팅 기반 AI 디자이너 MVP의 실제 사용 의향, 에디터 내 통합 가치, 응답 지연 영향 검증
- 높은 요청 수와 달리 단발 대화 비중, 낮은 도구 결과 채택률, 기대 이하 리텐션
구조와 흐름
- 노출 방식이 다른 세 실험군과 대조군을 대상으로 약 4주간 A/B 테스트
- 단일 결과형·목록형 도구를 분리한 채택률 분모 정의와 기존 대시보드 기준 정렬
- ‘1일 1턴’ 미재방문 사용자의 발화, 도구 호출, 응답시간 결합 분석
원인 분석
- 미지원 편집 요청으로 도구 호출 없이 종료되는 기능 미지원형 이탈
- 지원 기능에서도 결과 수신 전 중단되는 응답 지연형 이탈
- 캔버스 요소 선택 상태의 짧은 요청과 높은 다운로드율 지수로 확인한 작업 맥락 활용 가능성
적용해볼 점
- 사용량이 많고 채택률이 낮으며 중단율이 높은 도구 우선 개선
- AI 꾸미기 LLM 호출 시간 단축으로 평균 응답시간 약 40초에서 30초로 개선
- Z-test, 본페로니 보정, MDE와 활동일 기반 비교를 통한 인과 해석 범위 제한
