AI
쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)
두줄요약
매주 반복되던 스모크 테스트를 자동화하고, 실패 원인 분석과 복구까지 맡기는 토스닥터 V2를 소개했습니다. 사람은 검증할 대상과 자동화 범위 설계에 더 집중할 수 있게 됐습니다.
문제 상황
- 매주 반복되는 RC 빌드 스모크 테스트의 높은 수작업 부담
- 화면 변경과 예상치 못한 팝업으로 인한 테스트 깨짐과 원인 파악 비용
해결 방법
- Gherkin 시나리오로 검증 의도만 작성하고, /codegen으로 실행 코드 생성
- 스마트파인더로 실패 시 화면을 재탐색하고, /diagnosis와 /recovery로 원인 분석 및 복구 자동화
- 토스닥터 서버가 빌드 설치, 실행, 실시간 통신, 결과 전달까지 전체 흐름 연결
성능/운영 포인트
- 스크린샷, 요소 목록, XML을 단계적으로 활용해 탐색 비용 절감
- 직전 스텝 화면까지 함께 분석해 실패 원인 파악 정확도 보강
- recoverable 판정으로 사람 개입이 필요한 실패만 남기도록 운영