QA는 어떻게 추측을 확신으로 바꾸었나
AI
QA는 어떻게 추측을 확신으로 바꾸었나
두줄요약
QA 테스트 설계의 기준을 문서 추측에서 운영 코드와 커밋 근거로 전환했습니다. 하네스와 RAG 기반 코드 탐색으로 분석 절차를 표준화하고 설계 기간을 줄였습니다.
문제 상황
- 기획서·API 명세의 오래된 현재 동작을 기준으로 한 테스트 케이스 설계
- 8개 팀 과제 병행 환경에서 현재 동작 확인과 테스트 설계에 장기간 소요
- 문서만 입력한 AI의 그럴듯하지만 검증 불가능한 분석 결과
해결 방법
- 운영 기준 브랜치의 코드와 커밋을 현재 동작의 단일 출처로 고정
- CLAUDE.md, 스킬, 세션 훅, 산출물 템플릿 기반 하네스로 분석 절차와 판정 형식 표준화
- RAG로 관련 코드 후보 탐색 후 파일·라인·호출 흐름 기반 최종 검증
성능/운영 포인트
- 코드 근거를 부록으로 분리하고 정책 요약·변경점·질의를 본문 앞쪽에 배치
- 코드 미확인·명세 미정의 항목의 별도 판정과 추가 확인 대상 유지
- 리포트 발행 정착 후 테스트 설계 기간 평균 1.4일 수준
적용해볼 점
- AI 결과를 정답이 아닌 코드 근거 확인 대상과 질의 목록으로 활용
- 코드가 답하지 못하는 신규 기능·외부 시스템 영역의 사람 검증 유지
- 판정 기준과 리포트 규칙의 팀 공용 QA 시스템화
