강력한 AI 안전성 평가 구축하기

핵심 발표

• AI 모델의 배포 준비, 보호장치, 후속 안전성 학습·연구 결정을 위한 안전성 평가 설계·운영·보고 권고안
• 모델의 유해성 기여 가능성, 응답의 위해 증감 효과, 위해 심각도 측정에 초점

주요 변화

• 도메인 전문가와 방법론·기술 전문가의 초기 단계 공동 참여 권고
• 관찰적 질문과 인과적 질문을 구분하고, 한 번에 하나의 변수만 변경하는 인과 평가 설계 권고
• 거부율 대신 위험 영역별 루브릭에 따른 적절한 응답률과 다중 턴 대화 평가 활용

개발자 영향

• 유해 요청 준수 여부뿐 아니라 무해한 요청에 대한 과도한 거부도 함께 측정 필요
• 이중용도 생물학·사이버 보안 요청에서 합법적 목적 지원과 유해한 실행 세부사항 제한의 균형 필요
• 단일 프롬프트만으로 포착하기 어려운 점진적 위험 고조와 대화 맥락을 다중 턴 시뮬레이션으로 검증

한계·주의점

• AI 평가는 게임화 가능성, 측정 대상과 실제 측정값의 불일치, 재현성 부족 위험
• 표준 보호장치 비활성화 평가 시 인터넷 없는 샌드박스와 실시간 모니터링 필요
• 자살·자해 관련 대화에서 일괄 거부는 안전한 응답의 적절한 지표가 아닐 수 있음