GeneBench-Pro 소개: 계산생물학 AI 에이전트의 연구 판단력 벤치마크

핵심 발표

• 게놈학·정량생물학·중개 의학의 연구 수준 분석 판단력을 측정하는 GeneBench-Pro 공개
• 모호성 처리, 가정 수정, 분석 경로 선택, 의사결정 가능 결과 판단을 연구 맛(research taste)으로 정의

연구 방법·결과

• 10개 도메인·21개 하위 도메인의 합성 문제 129개 구성
• 전체 인과 구조와 데이터 생성 과정을 통제해 결정론적 정답 채점 및 잘못된 분석 경로의 실패 검증
• GPT‑5.6 Sol의 최고 추론 수준 통과율 28.7%, Pro mode 활성화 시 31.5%
• GPT‑5의 원래 GeneBench 점수 5% 미만 대비 성능 향상

개발자 영향

• 단순 사실 회상·사전 정의 워크플로를 넘어 반복적 데이터 탐색과 분석 전략 수정 능력 평가
• 최고 추론 수준에서 GPT‑5.6 Sol의 GPT‑5.2 대비 약 3분의 2 토큰 사용량 및 거의 6배 많은 문제 해결

사용 방법·가용성

• 격리된 작업 공간, 데이터 파일, Python·과학 컴퓨팅 라이브러리·PLINK 2.0 기반 평가 환경
• Hugging Face에서 대표 문제 10개 오픈소스 공개 및 탐색용 인터랙티브 웹 인터페이스 제공
• Artificial Analysis에 독립 벤치마킹용 50문제 하위 집합 제공 예정