AI
Claude Code 품질 보고에 대한 업데이트
An update on Claude Code quality reports
두줄요약
Claude Code 품질 저하를 일으킨 세 변경의 원인과 복구 조치를 공개했습니다. 시스템 프롬프트 평가와 점진적 롤아웃 등 재발 방지책을 강화합니다.
핵심 발표
- Claude Code, Claude Agent SDK, Claude Cowork에 영향을 준 품질 문제 3건의 원인과 조치 공개
- API와 추론 계층은 영향 범위에서 제외
- 세 문제 모두 April 20 v2.1.116 기준 해결
주요 변화
- 기본 reasoning effort를 high에서 medium으로 낮춘 변경을 April 7 되돌리고, Opus 4.7은 xhigh·그 외 모델은 high를 기본값으로 복원
- 1시간 이상 유휴 세션에서 thinking 이력을 매 턴 삭제하던 버그를 April 10 v2.1.101에서 수정
- 코딩 품질 저하를 유발한 응답 길이 제한 system prompt를 April 20 되돌림
연구 방법·결과
- 더 넓은 평가군의 system prompt ablation에서 Opus 4.6과 4.7 모두 3% 하락 확인
- 필요한 저장소 문맥을 제공한 Code Review에서 Opus 4.7은 버그 발견, Opus 4.6은 미발견
개발자 영향
- 유휴 세션 버그로 인한 망각·반복·비정상적 도구 선택 및 예상보다 빠른 사용 한도 소진 가능성
- 시스템 프롬프트 변경별 폭넓은 모델별 평가, soak 기간, 점진적 롤아웃, 변경 감사 도구 도입 계획
- April 23 기준 모든 구독자 사용 한도 초기화
