AI
KB증권 AI 에이전트는 어떻게 최적의 모델을 선택할까? – Amazon Bedrock 기반 Context Tier-Routing
두줄요약
LLM 호출마다 대화 맥락과 Tool 실행 상태를 반영해 모델을 선택하는 라우팅을 설계했습니다. Elevate-only 정책으로 캐시 손실을 줄이며 비용과 토큰 사용량을 절감했습니다.
문제 상황
- 질의 복잡도가 다른 에이전트 작업을 단일 LLM으로 처리할 때의 비용 낭비와 품질 저하 위험
- 다단계 Tool 호출과 누적 Context로 호출별 난이도 및 Prompt Cache 비용이 달라지는 구조
해결 방법
- 현재 질의·최근 대화 맥락·Tool 실행 상태를 결합한 호출 단위 Context Tier-Routing
- intfloat/e5-large 임베딩과 구조적 Feature 4개를 결합한 XGBoost 이진 분류기
- 라우터 장애 시 직전 모델을 유지하는 fail-open 처리
선택 이유
- 상위 Tier 전환 뒤 하향 전환을 막는 Elevate-only 정책으로 모델 변경과 캐시 무효화 최소화
- 분류 모델의 난이도 예측과 실행 정책의 모델 전환 책임 분리
성능/운영 포인트
- 평균 품질 점수 0.4점 차이 내 토큰 사용량 35.9%, 클라우드 API 비용 15.8% 절감
- Medium 구간 응답 시간 29% 단축, Hard 구간의 routing·completeness 품질 하락 관찰
- Hard 구간 개선을 위한 ADVANCED 임계값 조정과 대화 맥락 신호 강화 검토
