AI
두 가지 설정으로 ARC-AGI-3 벤치마크 점수를 3배 높인 방법
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
두줄요약
GPT‑5.6 Sol은 retained reasoning과 compaction으로 ARC-AGI-3 점수를 13.3%에서 38.3%로 높였습니다. 출력 토큰은 약 6배 줄었으며, Responses API 사용을 권장했습니다.
핵심 발표
- retained reasoning과 compaction 활성화로 ARC-AGI-3 공개 과제 점수 개선
- GPT‑5.6 Sol의 RHAE 점수 13.3%에서 38.3%로 상승
- 출력 토큰 약 6배 절감
연구 방법·결과
- 공식 하니스의 추론 메시지 폐기와 롤링 트렁케이션 영향 분석
- 이전 응답 ID 전달로 도구 호출·턴 간 비공개 추론 유지
- 175,000자 초과 시 이전 메시지를 버리는 방식 대신 compaction 적용
개발자 영향
- 에이전트 평가 결과에 모델 자체뿐 아니라 API 설정, 하니스 설계, 프롬프팅 영향
- 과거 추론과 행동 보존을 통한 행동당 추론 시간 감소 및 장기 게임 전략 개선
사용 방법·가용성
- Responses API 사용 권장
- retained reasoning 및 compaction 사용 권장
- ChatGPT와 Codex의 배포 설정에 맞춘 평가 환경 권장