AI
AI 에이전트의 일상적 습식 실험 과학 처리 능력 측정
Measuring how AI agents handle everyday wet-lab science
두줄요약
OpenAI가 일상적 습식 실험 데이터 해석 능력을 평가하는 BioBasicsBench를 공개했습니다. GPT‑6 Astra는 xhigh 설정에서 평균 보상 66.7%를 기록했습니다.
핵심 발표
- Ligo와 공동 개발한 100개 과제 규모의 습식 실험 분석 벤치마크 BioBasicsBench 공개
- 원시 실험 데이터 해석, 오류 식별, 증거 불충분 상황 인식 능력 측정
연구 방법·결과
- 단백질 방법, 이미징·세포분석, 정량·분석법, 핵산 방법, 분자 클로닝의 5개 영역 평가
- 7개 모델, 37개 모델·추론 노력 설정, 설정별 100개 과제 5회 시도로 총 18,500개 결과 평가
- xhigh 설정에서 GPT‑6 Astra 평균 보상 66.7%, GPT‑6.1 Sol 62.0%, GPT‑5.6 Sol 43.8%
개발자 영향
- 이미지·영상·시퀀싱·plate-reader·유세포 분석 등 멀티모달 원시 데이터 해석 성능의 중요성
- 대조군 오류, 채널 간 간섭, 증거 해석 한계 식별을 통한 잘못된 결론 방지 필요
한계·주의점
- 이미지 해석, 대조군 점검, 실험 맥락 적용 측면의 추가 개선 여지
- 과제별 채점 기준에 따른 부분 점수 방식과 과제 간 중복 가능한 기술 범주
