LLM 비용 64% 절감, 캐시 히트율 98% 달성기

문제 상황

• AWS Bedrock 기반 LLM 운영에서 비용은 증가했지만 API별 원인 파악이 어려운 상태
• 콘솔 집계만으로는 어떤 API가 토큰을 많이 쓰는지, 어떤 종류의 토큰이 비용을 만드는지 확인 불가
• 속성 추출 API가 전체 토큰의 대부분을 차지하는지조차 보이지 않아 최적화 우선순위 결정이 막힌 상황

원인 분석

• 속성 추출 API의 호출 구조가 문제였음
• 매 호출마다 약 15K 토큰의 동일한 시스템 프롬프트를 반복 전송
• 변동하는 상품 데이터는 약 2K 토큰에 불과했지만, 고정 프롬프트가 매번 재처리되며 비용이 누적

해결 방법

• API별 토큰 메트릭 대시보드와 Grafana 시각화로 가시성 확보
• 비용 의사결정용 시뮬레이션으로 Prompt Caching 우선 적용 판단
• 시스템 프롬프트와 메시지 프롬프트를 분리한 뒤 Bedrock Converse API에 캐시 포인트와 TTL 설정

성능/운영 포인트

• 캐시 히트율과 cache_read / cache_write 메트릭을 별도로 모니터링
• 캐시 무효화를 막기 위해 타임스탬프, 사용자 ID, JSON 키 순서 같은 안티패턴 관리
• 호출 패턴과 가격표를 기반으로 시뮬레이션과 실측을 함께 검증