모델만 바꿨는데 LLM 비용이 3배가 된 이유
AI
모델만 바꿨는데 LLM 비용이 3배가 된 이유
두줄요약
모델 교체 뒤 자동 프롬프트 캐시 구분점 정책 변화로 비용이 3.2배 증가한 원인을 분석했습니다. 고정부 경계에 명시 구분점을 두고 히트율과 비용을 운영 지표로 관리했습니다.
문제 상황
- Gemini에서 OpenAI GPT-5.6으로 모델 교체 후 요청당 비용 3.2배 증가
- 응답 오류 없이 토큰 기준 프롬프트 캐시 히트율 85.8%에서 2.3%로 하락
원인 분석
- GPT-5.6 이후 자동 구분점이 최근 메시지 끝에만 생성되는 정책 변화
- 고정 지시문과 가변 본문을 하나의 메시지로 전송해 ‘지시문+글 전체’ 캐시만 저장
- 캐시 쓰기 할증 1.25배와 낮은 히트율에 따른 입력 비용 증가
해결 방법
- 고정부 끝과 가변 입력 시작점 사이에 명시 구분점 배치
- 사내 LLM 플랫폼 템플릿의 첫 변수 앞에 구분점 자동 삽입
- 시각·요청 ID·JSON 키 순서·도구 목록 등 공통 접두부 변동 요소 제거
성능/운영 포인트
- 수정 후 주제 분류 캐시 히트율 약 95%, 요청당 비용 약 5분의 1
- 제공사별 캐시 최소 길이·유지 시간·쓰기 할증·구분점 정책 확인
- 캐시 읽기 토큰, 쓰기 토큰, 토큰 기준 히트율과 요청당 비용의 운영 트래픽 모니터링
