
AI
격리 안 된 테스트의 초록불은, 에이전트가 믿을 수 없습니다
두줄요약
AI 에이전트가 스스로 수정하려면 먼저 테스트 결과를 믿을 수 있어야 했습니다. 그래서 테스트 격리와 실행 경로 통일로 오염과 환경 차이를 줄였습니다.
문제 상황
- 격리되지 않은 테스트에서 전체 실행은 실패하지만 단독 실행은 통과하는 판정 불일치 발생
- 테스트 간 상태 오염, 외부 인프라 편차, IDE와 빌드 도구의 실행 경로 차이로 결과 신뢰도 저하
- 에이전트가 빨간불만 보고 제품 결함으로 오진하면 잘못된 수정 반복 가능
원인 분석
- 앞선 테스트가 남긴 DB 데이터와 null 필드 직렬화 방식이 결합해 응답 검증 실패 유발
- 메시지 브로커 부재, 트레이싱 버퍼 누적, OOM, 스키마·환경 변수 차이 등 코드 밖 변수가 성패 좌우
해결 방법
- 테스트용 DB 컨테이너와 논리 DB 분리, 매 테스트 시작 시 테이블 정리
- 브로커 자동 설정 배제, 오프라인 모드 도입, 실행 경로를 빌드 도구 기반으로 통일
- 실패 유형별 진단 후 재실행하되, 프로덕션 코드 수정이 필요하면 사람에게 즉시 이관
적용해볼 점
- 테스트 격리와 실행 경로 통일을 먼저 확보해 에이전트와 CI가 같은 조건에서 검증하도록 구성
- 단독 실행과 전체 실행 결과를 비교해 테스트 오염 여부를 우선 점검
