AI
LifeSciBench 소개
Introducing LifeSciBench
두줄요약
LifeSciBench는 실제 생명과학 연구 업무를 평가하는 전문가 기반 벤치마크를 공개했습니다. GPT‑Rosalind는 향상됐지만 아티팩트·설계 중심 과제에서는 여전히 한계를 보였습니다.
핵심 발표
- 실제 생명과학 연구 업무를 평가하기 위한 전문가 작성·검토 벤치마크 LifeSciBench 공개
- 7개 워크플로와 7개 생물학 도메인에 걸친 전문가 작성 과제 750개 구성
연구 방법·결과
- 증거 처리, 분석, 설계·최적화, 과학적 추론, 검증·운영, 번역, 과학 커뮤니케이션 평가
- 1,062개 아티팩트와 19,020개 루브릭 기준 활용, 과제당 평균 4단계 추론·의사결정 요구
- 독립 전문가 453명 검토에서 모든 평가 범주 96% 초과 동의
개발자 영향
- GPT‑Rosalind의 전체 정확 통과율 36.1%, GPT‑5.5의 25.7% 대비 향상
- 과학 커뮤니케이션과 Translation에서 상대적 강점, 아티팩트·설계·운영 제약 과제에서 낮은 성능
- 아티팩트 또는 URL 포함 과제에서 GPT‑Rosalind 통과율 28.1%, 텍스트 전용 과제의 45.1% 대비 하락
한계·주의점
- 복잡한 그림·대형 시퀀스 파일의 정보 추출 및 최종 답변 통합 역량 부족
- 과학 커뮤니케이션 결과는 표본 수 9개로 신중한 해석 필요
