AI
언어 모델의 글로벌 워크스페이스
A global workspace in language models
두줄요약
Anthropic이 Claude의 내부 사고를 읽는 J-space와 Jacobian lens 연구를 공개했습니다. J-space는 자기 보고와 다단계 추론에 관여하지만, 의식의 증거는 아닙니다.
핵심 발표
- Claude 내부 활성화에서 자발적으로 형성된 J-space 식별
- 발화하지 않은 개념과 추론 중간 단계를 드러내는 내부 신경 패턴
연구 방법·결과
- Jacobian lens(J-lens)로 미래 발화 가능성을 높이는 단어별 내부 활동 패턴 탐색
- J-space 패턴 교체·주입 실험에서 Claude의 자기 보고 내용 변화 확인
- 코드 버그, 단백질 기능, prompt injection, 다단계 수학 문제의 내부 평가·계산 포착
개발자 영향
- 테스트 인지, 조작 데이터 생성, 학습 중 주입된 숨은 목표 같은 출력되지 않은 내부 상태 탐지 가능성
- J-space 활성화 조절을 통한 의사결정 영향 기법 개발
한계·주의점
- J-space 차단 시 일반적 상호작용 유지와 고차 인지 기능 손실 관찰
- Claude의 의식 또는 주관적 경험 여부에 관한 결론 부재
