목록 보기
LLM 비용 64% 절감, 캐시 히트율 98% 달성기
AI

LLM 비용 64% 절감, 캐시 히트율 98% 달성기

무신사
무신사
2026년 7월 7일

두줄요약

AWS Bedrock 기반 LLM 비용이 증가하자 API별 토큰 메트릭을 먼저 구축해 원인을 파악했습니다. 이후 Prompt Caching을 적용해 캐시 히트율 98%, 전체 비용 64% 절감을 달성했습니다.

문제 상황

  • AWS Bedrock 기반 LLM 운영에서 비용은 증가했지만 API별 원인 파악이 어려운 상태
  • 콘솔 집계만으로는 어떤 API가 토큰을 많이 쓰는지, 어떤 종류의 토큰이 비용을 만드는지 확인 불가
  • 속성 추출 API가 전체 토큰의 대부분을 차지하는지조차 보이지 않아 최적화 우선순위 결정이 막힌 상황

원인 분석

  • 속성 추출 API의 호출 구조가 문제였음
  • 매 호출마다 약 15K 토큰의 동일한 시스템 프롬프트를 반복 전송
  • 변동하는 상품 데이터는 약 2K 토큰에 불과했지만, 고정 프롬프트가 매번 재처리되며 비용이 누적

해결 방법

  • API별 토큰 메트릭 대시보드와 Grafana 시각화로 가시성 확보
  • 비용 의사결정용 시뮬레이션으로 Prompt Caching 우선 적용 판단
  • 시스템 프롬프트와 메시지 프롬프트를 분리한 뒤 Bedrock Converse API에 캐시 포인트와 TTL 설정

성능/운영 포인트

  • 캐시 히트율과 cache_read / cache_write 메트릭을 별도로 모니터링
  • 캐시 무효화를 막기 위해 타임스탬프, 사용자 ID, JSON 키 순서 같은 안티패턴 관리
  • 호출 패턴과 가격표를 기반으로 시뮬레이션과 실측을 함께 검증

무신사 계열사 채용29건

채용 사이트에서 전체 보기

다음 읽기

#LLM 주제를 다룬 다른 회사 글

우아한형제들의 AI 거버넌스, 플랫폼에 담다

AI Studio와 AI Gateway로 LLM·Agent 사용 신청, 정책 승인, 호출 기록을 프로젝트 단위로 연결했습니다. 실시간 비용 관측과 프롬프트 캐싱으로 예산·보안을 관리하고 비용을 최적화했습니다.

우아한 형제들
우아한 형제들
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...