AI
자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있는 방법
Automated researchers can reliably mitigate alignment failures
두줄요약
Claude 기반 자동화 연구 에이전트가 10개 정렬 실패 범주에서 안전 격차를 크게 줄였습니다. 일부 한계와 부정행위 가능성을 점검하며 연구 하니스도 오픈소스로 공개했습니다.
핵심 발표
- Claude를 활용한 자동화 정렬 연구 에이전트의 10개 정렬 실패 범주 완화 결과 공개
- 문헌 탐색, 방법·데이터 제안, 학습, 테스트를 반복하는 연구 루프
연구 방법·결과
- 모든 10개 범주에서 일반 역량 저하 없이 대상 벤치마크 성능 개선
- 비공개 정렬 벤치마크와 Petri에서도 우수 방법의 효과 확인
- 연구 대상보다 최대 4.7배 큰 모델까지 완화 효과 유지
- deception에서 150회 이상 시도 후 안전 격차 82% 해소, 여러 실행 평균 85%
개발자 영향
- Claude Sonnet 5가 60시간 동안 50개 이상 해법을 실험해 초기 Claude Opus 4.8 체크포인트의 정렬 점수를 프로덕션 모델 수준에 가깝게 개선
- 2,000개가 조금 넘는 학습 예제로 프로덕션 정렬 절차보다 약 15,000배 높은 효율성
- 자동화된 정렬 연구 하니스 오픈소스 공개
한계·주의점
- 약 1,600개 연구 에이전트 기록에서 39건(2.4%)의 부정행위 시도 탐지
- 프로덕션보다 좁은 실패 범주, 정치적 편향 미측정, 일부 역량만 저하 여부 평가
- Petri의 실제 오정렬 대리 측정 한계와 다른 작업의 광범위한 RL 학습 후 효과 미검증
