AI
BioMysteryBench로 평가한 Claude의 생물정보학 연구 역량
Evaluating Claude with BioMysteryBench
두줄요약
Anthropic은 실제 생물정보학 문제 99개로 Claude를 평가하는 BioMysteryBench를 소개했습니다. Opus 4.6은 인간이 해결 가능한 문제의 77%를 풀었으며, 최종 답 중심 평가를 사용했습니다.
핵심 발표
- 실제 생물정보학 문제 99개로 구성한 BioMysteryBench 공개
- Claude 세대별 생물학 연구 역량의 빠른 향상과 인간 전문가 수준 성능 확인
- Opus 4.6의 인간이 해결 가능한 문제 77% 해결
연구 방법·결과
- 도메인 전문가가 실제 데이터셋과 통제 가능한 객관적 속성에 기반해 문항 구성
- 컨테이너 환경에서 표준 생물정보학 도구, pip·conda 추가 설치, NCBI·Ensembl 데이터베이스 접근 제공
- 분석 경로가 아닌 최종 답을 평가해 방법 선택의 다양성 허용
개발자 영향
- 실제 데이터, 데이터베이스 조회, 도구 설치, 코드·분석 작업을 포함하는 에이전트형 과학 역량 평가 방식
- 단일 연구자의 주관적 방법론 대신 검증 가능한 데이터 속성과 메타데이터를 정답 근거로 활용
한계·주의점
- 생물학 데이터의 노이즈와 연구 판단의 주관성으로 동일 문제에서 상이한 결론 가능
- 시뮬레이션 환경의 성능이 실제 데이터 작업 성능을 얼마나 반영하는지 불확실
