AI
AI로 E2E 회귀 테스트 자동화하기: ‘딸깍’을 파이프라인으로 바꾸기까지
두줄요약
AI 생성 E2E 테스트의 위양성을 줄이기 위해 명세·게이트·변형 검증·리뷰 패킷 파이프라인을 구축했습니다. 수동 회귀 테스트 98개를 자동화하고 범위를 196개로 확대했습니다.
문제 상황
- 수동 회귀 테스트 98개의 E2E 자동화 필요성과 높은 구축·유지보수 부담
- AI 생성 Playwright 테스트의 통과 결과와 원래 테스트 의도 간 불일치
- 다중 컨테이너의 임의 선택과 복수 검증 항목 누락에 따른 위양성 위험
구조와 흐름
- 테스트 케이스 파싱, locator 검증, 코드 생성, 실행, 리포팅으로 구성한 v1.0 파이프라인
- 명세 초안, gap 확인, 코드 생성, 게이트, 위양성 검증, 리뷰 패킷으로 확장한 v2.0 흐름
- JSON 기반 단계 연결과 문제 단계별 재실행 구조
해결 방법
- 원본 기대 결과와 assertion을 연결하는 명세 및 커버리지 추적
- 모호한 기준을 gap으로 남기고 사람의 답변 전 다음 단계 차단
- assertion 누락·위험 패턴 차단 게이트와 기댓값 변형 기반 위양성 검증
성능/운영 포인트
- 리뷰 대시보드와 locator 스크린샷으로 사람의 확인 범위 축소
- 수동 회귀 테스트 98개 전수 자동화와 196개 테스트 범위 확대
- CI 연동 정기 리그레션 운영과 locator·의도 판단의 인간 리뷰 유지
