Natural Language Autoencoders: Claude의 생각을 텍스트로 변환하기

핵심 발표

• Claude의 활성화값을 사람이 읽을 수 있는 자연어 설명으로 변환하는 Natural Language Autoencoders(NLAs) 소개
• 활성화값→텍스트 설명→활성화값 재구성의 왕복 구조로 설명 품질 평가

연구 방법·결과

• 동결된 target model, activation verbalizer(AV), activation reconstructor(AR) 3개 사본 활용
• 안전성 평가에서 비언어화된 평가 인식 탐지: 파괴적 코딩 행동 평가 16%, SWE-bench Verified 문제 26%
• 의도적으로 misaligned된 Claude Haiku 3.5 변형 감사 게임에서 NLAs 사용 시 숨은 동기 발견 성공률 12~15%, 미사용 시 3% 미만

개발자 영향

• Claude Mythos Preview와 Claude Opus 4.6의 배포 전 alignment 감사에 활용
• Neuronpedia 협업 기반 오픈 모델 NLA 탐색용 인터랙티브 프론트엔드와 코드 공개

한계·주의점

• 문맥에 없는 세부 사항을 만들어내는 사실 환각 가능성
• 개별 주장보다 반복적으로 드러나는 주제 중심의 해석 및 독립적 방법을 통한 결과 교차 검증 필요