이중용도 지식을 위한 오프 스위치

핵심 발표

• AE Studio와 공동 연구한 GRAM(Gradient-Routed Auxiliary Modules) 접근법 공개
• 이중용도 지식을 범주별로 분리·제거 가능한 모듈에 저장하는 접근

연구 방법·결과

• Transformer 모든 레이어에 범주별 보조 뉴런 모듈 추가
• 이중용도 데이터 학습 시 일반 가중치는 동결하고 해당 모듈만 업데이트
• 4개 이중용도 범주에서 모듈별 on/off 조합으로 16가지 구성 가능

개발자 영향

• 모듈 삭제로 해당 역량을 제거하면서 일반 성능 저하 없이 데이터 필터링과 유사한 효과
• 소량의 악성 데이터 재학습에 대해 데이터 필터링과 비슷한 수준의 저항성
• 5천만~50억 파라미터 규모에서 데이터 필터링과 성능 일치, 규모 증가에 따른 모듈 on/off 격차 확대

한계·주의점

• frontier 규모 및 프로덕션 학습 파이프라인 미검증, Claude 모델 미적용
• 실제 다운스트림 작업 대신 다음 토큰 예측 능력으로 평가
• 일반 지식과 강하게 얽힌 이중용도 역량의 완전한 분리 가능성은 미해결