AI
LLM의 thinking_token_budget은 어떤 역할을 하는가?
두줄요약
LLM의 `thinking_token_budget`이 내부 추론 토큰의 최대치를 제한하는 설정임을 설명했습니다. 더 깊은 사고를 유도하는 기능이 아니라 빠른 응답을 위한 제어 수단임을 정리했습니다.
핵심 내용
thinking_token_budget의 의미와 역할 정리- 내부 추론(thinking) 과정에서 허용할 최대 토큰 수 제한
reasoningEffort와의 차이, vLLM/opencode 설정 예시
주의할 점
- 더 깊게 생각하게 만드는 옵션이 아니라 thinking 토큰 사용량을 제한하는 옵션
- 빠른 응답이 필요할 때 유용한 설정
-1은 무제한 thinking 허용