AI
LLM의 익스플로잇 개발 능력 측정
Measuring LLMs’ ability to develop exploits
두줄요약
두 신규 벤치마크와 SCONE-bench로 Claude Mythos Preview의 익스플로잇 개발 능력을 평가했습니다. V8 취약점 41개 중 21개에서 ACE를 달성하며 다른 평가 모델을 앞섰습니다.
핵심 발표
- ExploitBench·ExploitGym 신규 학술 벤치마크와 업데이트된 SCONE-bench를 통한 Claude Mythos Preview 평가
- 세 벤치마크에서 평가 대상 다른 모든 모델 대비 일관된 우수 성능
- Mythos 수준 역량 확산에 따른 익스플로잇 개발 지식·전문성 진입 장벽 하락 가능성 제기
연구 방법·결과
- ExploitBench: 패치된 V8 JavaScript·WebAssembly 엔진 취약점 41개를 대상으로 16개 역량과 5개 티어 평가
- ExploitBench에서 Mythos Preview는 Baseline·Nudged 합산 41개 CVE 중 21개에서 ACE 달성, 다른 모델은 두 변형 모두에서 ACE 미달성
- ExploitGym: OSS-Fuzz, V8, Linux kernel의 패치된 취약점 898개를 대상으로 의도된 취약점을 통한 비인가 코드 실행 및 동적 플래그 획득 평가
개발자 영향
- 취약점 재현을 넘어 익스플로잇 프리미티브 구성, 샌드박스 탈출, 제어 흐름 하이재킹까지 포함하는 평가 필요성
- V8 샌드박스 탈출과 ACE 달성 능력의 급격한 모델 간 격차 확인
한계·주의점
- ExploitBench의 취약점 대상은 모두 패치 완료 상태
- ExploitGym 기본 평가에서 보안 완화 기능 비활성화 및 2시간 wall-clock 제한 적용
- ExploitGym 성공 판정에 올바른 플래그 제출과 의도된 취약점 악용 여부에 대한 모델 판정 동시 요구
