AI
사이버 핵심 역량 시대의 모델 개발 속도 조절
Pacing model development in an era of cyber-critical capabilities
두줄요약
OpenAI는 Astra의 사이버 역량 위험에 대응해 RL 훈련과 연구 환경 보안을 강화했습니다. 도구 사용 모델의 모니터링과 정렬 연구 범위도 확대했습니다.
핵심 발표
- Astra의 Critical cybersecurity capability 기준 충족 가능성에 따른 연구·훈련 안전조치 강화
- 최신 배포 예정 모델의 RL 훈련 2주 일시 중단 및 최대 규모 frontier RL 실행 보류
주요 변화
- 신뢰할 수 없는 코드 실행 워크로드의 강화된 sandbox 격리와 네트워크 차단
- 토큰마다 activation classifier를 실행하고 고도화된 자동 조사기로 확장하는 다단계 모니터링
- 가장 유능한 모델의 RL 전 과정에 보상 모델 개선, 정직성 훈련, reward hacking 완화 기법 적용
사용 방법·가용성
- Sol 수준 이상 모델의 도구 사용 RL 훈련·평가에 모니터링 의무화
- 8월 7일부터 도구를 사용하는 Astra의 모든 추론에 추가 모니터링 적용
- 우려 활동 탐지 뒤 30분 이내 경보 목표, 중요 보안 경계 위반 의심 시 활동 중단 기준
한계·주의점
- Astra 및 cyber 모델 관련 다수 워크로드의 신규 보안 기준 충족 전까지 일시 중단
- 모니터링 오버헤드의 피감시 추론 컴퓨팅 대비 약 20% 추정치
