AI
GPT-Red: 견고성 향상을 위한 자기 개선의 실현
GPT-Red: Unlocking Self-Improvement for Robustness
두줄요약
OpenAI가 자기 대결로 프롬프트 인젝션을 찾는 자동 레드팀 GPT‑Red를 공개했습니다. GPT‑5.6 Sol은 이를 학습에 활용해 직접 프롬프트 인젝션 실패를 크게 줄였습니다.
핵심 발표
- 자기 대결 강화학습 기반 자동화 안전 레드팀 모델 GPT‑Red 공개
- 프롬프트 인젝션 취약점 탐색과 프로덕션 모델 견고성 훈련에 GPT‑Red 활용
연구 방법·결과
- 다양한 방어 LLM과의 자기 대결에서 공격 성공에는 보상, 공격 저지와 원래 작업 완료에는 방어 측 보상
- 간접 프롬프트 인젝션 평가에서 GPT‑5.1 대상 공격 성공 시나리오 비율 84%, 인간 레드팀 13%
- GPT‑5.6 Sol의 가장 어려운 직접 프롬프트 인젝션 벤치마크 실패 건수, 4개월 전 최고 프로덕션 모델 대비 6배 감소
개발자 영향
- 브라우저, 연결 앱, 로컬 파일, 도구 응답, 코드 저장소의 외부 데이터에 포함된 악성 지시문 대응 강화
- Fake Chain-of-Thought 공격 성공률, GPT‑5.1에서 최대 95% 이상에서 GPT‑5.6 Sol에서는 10% 미만으로 감소
- 정상 기능 저하나 과도한 거부 없이 악성 지시문 저항성 향상 목표
한계·주의점
- GPT‑Red의 악성 역량 악용 방지를 위해 배포 모델과 분리 운영
- 인간·제3자 레드팀, 계층형 안전장치, 실시간 모니터링과 병행 방침