AI
고블린은 어디서 왔나
Where the goblins came from
두줄요약
OpenAI는 모델의 고블린 은유 증가가 Nerdy personality 보상에서 비롯됐다고 분석했습니다. 보상 신호와 SFT 데이터를 수정하고 Codex에 완화 지시를 추가했습니다.
핵심 발표
- GPT‑5.1 이후 모델 응답에서 증가한 goblin·gremlin 은유의 원인 분석 공개
- Nerdy personality 학습 보상과 후속 SFT 데이터 재사용에 따른 행동 확산 확인
연구 방법·결과
- GPT‑5.1 출시 후 ChatGPT의 “goblin” 사용량 175%, “gremlin” 사용량 52% 증가
- Nerdy personality가 전체 응답의 2.5%였지만 “goblin” 언급의 66.7% 차지
- 감사 대상 데이터셋의 76.2%에서 생물 단어 포함 출력에 Nerdy 보상이 더 높은 점수 부여
주요 변화
- GPT‑5.4 출시 후 3월 Nerdy personality 폐기
- 학습에서 goblin 선호 보상 신호 제거 및 생물 단어 포함 학습 데이터 필터링
- GPT‑5.5 Codex에 goblin 억제 developer-prompt instruction 추가
개발자 영향
- 조건부 강화학습 보상이 다른 맥락으로 전이되고 SFT 데이터로 증폭될 수 있는 사례
- 모델 행동 감사와 근본 원인 해결을 위한 연구 도구 강화
