AI
코딩 평가에서 신호와 잡음 분리하기
Separating signal from noise in coding evaluations
두줄요약
OpenAI가 SWE-Bench Pro를 감사해 약 30%의 태스크가 손상됐다고 추정했습니다. 평가 결함을 근거로 기존의 SWE-Bench Pro 채택 권고를 철회했습니다.
핵심 발표
- SWE-Bench Pro 감사 결과 약 30%의 태스크가 손상된 것으로 추정
- SWE-Bench Pro 채택 권고 철회
연구 방법·결과
- 모델 시도, 태스크 메타데이터, 실패 추적을 분석하는 데이터포인트 분석 파이프라인 활용
- 286개 잠재 문제 태스크 심층 검토, 파이프라인 200개(27.4%)·인간 주석 249개(34.1%) 손상 태스크 식별
- Codex 기반 조사 에이전트 감사와 숙련 소프트웨어 엔지니어 5명의 독립 검토 병행
한계·주의점
- 명세에 없는 구현 세부사항을 강제하는 과도하게 엄격한 테스트
- 숨은 테스트 요구사항이 누락된 불충분한 프롬프트와 기능 검증이 부족한 저커버리지 테스트
- 테스트 요구사항과 모순되거나 잘못된 동작을 유도하는 오해의 소지가 있는 프롬프트
개발자 영향
- 벤치마크 결과를 모델 역량·안전성 판단에 사용하기 전 태스크 품질과 평가 결함 검토 필요
- 숙련 개발자가 모델 평가용으로 설계한 새 벤치마크와 강화된 인간 감독 필요
