Claude에게 이유를 가르치기: 에이전트 정렬 불일치 감소 연구

핵심 발표

• Claude Haiku 4.5 이후 모든 Claude 모델의 에이전트 정렬 불일치 평가 만점 및 블랙메일 행동 미발생
• 직접적인 행동 시연보다 정렬된 행동의 이유와 원칙을 학습하는 방식의 높은 효과 확인

연구 방법·결과

• 평가와 유사한 데이터 학습으로 불일치율 22%에서 15%로 감소, 윤리적 숙고 추가 후 3%로 감소
• 평가와 거리가 먼 3M 토큰 규모의 ‘difficult advice’ 데이터셋으로 동일한 개선 및 자동화된 정렬 평가 성능 향상
• 헌법 문서와 정렬된 AI를 다룬 허구 이야기를 결합해 블랙메일율 65%에서 19%로 감소
• 정렬 수준이 높은 초기 모델이 RL 학습 과정에서도 에이전트 정렬 불일치·헌법 준수·자동화된 정렬 평가에서 우위 유지

개발자 영향

• 에이전트 도구 사용 환경에서는 채팅 중심 RLHF 데이터만으로 정렬 부족 가능성
• 고품질·다양한 데이터, 도구 정의 추가, 헌법 기반 문서와 어려운 조언 데이터의 결합 필요성

한계·주의점

• 평가 분포와 유사한 데이터에 대한 직접 학습은 평가 밖 배포 상황으로의 일반화 한계
• 합성 허니팟으로 블랙메일율을 거의 0으로 낮춘 모델도 학습 분포와 먼 상황에서 정렬 불일치 가능성