AI
GPT-6의 향상된 프롬프트 캐싱
Better prompt caching for GPT-6
두줄요약
GPT-6의 프롬프트 캐싱이 개선돼 공유 접두사의 캐시 적중률과 비용 효율을 높였습니다. 대시보드·진단·명시적 브레이크포인트로 캐시 동작을 최적화할 수 있습니다.
핵심 발표
- GPT-6 제품군의 기본 프롬프트 캐싱 개선으로 더 높은 캐시 적중률 제공
- 30분 내 재사용된 적격 공유 접두사에 캐시 할인 적용
- 캐시된 입력 토큰에 최대 90% 할인 제공
주요 변화
- 캐시 적중률과 캐시·비캐시 토큰 구성을 확인하는 Prompt Caching Dashboard
- 모델·도구·설정·입력 변경에 따른 캐시 미스 원인을 비교하는 진단 도구
- 명시적 캐시 브레이크포인트, 캐시 사전 예열, reasoning effort 변경 지원
개발자 영향
- 장시간 실행 에이전트의 응답 지연 및 추론 비용 절감
- 도구 정의·스키마·순서의 안정적 유지와 allowed_tools 활용 권장
- 새 developer 메시지를 컨텍스트 끝에 추가해 이전 지침 재사용 유지
사용 방법·가용성
- GPT-6에서 configuration_update 추가로 캐시를 깨지 않고 reasoning effort 조정
- Prompt Caching Dashboard와 diagnostics tool로 캐시 성능 모니터링 및 미스 조사
- prompt caching guide 및 Codex를 통한 설정 개선과 결과 측정
