AI 테스트의 허수를 걸러내기
프론트엔드
AI 테스트의 허수를 걸러내기
두줄요약
AI가 만든 테스트에서 검증 없이 통과하는 허수 패턴 8가지를 분석했습니다. 정규식, expect 집계, 장애 주입, 뮤테이션 테스트로 탐지 방법을 제시합니다.
문제 상황
- AI 생성 테스트의 통과 여부가 코드 신뢰를 대신하는 상황
- 구현에서 가져온 기대값과 누락된 검증으로 실제 오류를 놓치는 허수 테스트
원인 분석
- 명세 대신 현재 구현을 기준으로 기대값과 테스트 로직을 생성하는 AI의 경향
- await 누락, 조건부 skip·return, 검증문 부재, 과도한 mock 등 실패 경로를 제거하는 패턴
해결 방법
- 정규식 스캔과 Playwright 리포터의 실행 expect 수 집계로 저비용 후보 탐색
- API 장애 주입과 Stryker 뮤테이션 테스트로 E2E·분기·경계값 검증력 확인
- 구현이 아닌 명세를 먼저 제공하고, mock 호출 인자 또는 실제 시간 기반 로직 검증
주의할 점
- expect 0회 탐지는 skip·직접 에러·waitFor 기반 검증을 놓치거나 오탐 가능성
- 장애 주입 시 변경 요청 제외와 SSR 데이터 미가로채기 고려
- 구현과 테스트가 같은 방향으로 틀린 경우 명세 기반 사람 검토 필요
