데브옵스
사내 LLM 요청을 한곳으로 모은 AI Gateway 구축기
두줄요약
Envoy AI Gateway로 사내 LLM 호출을 중앙화하고 모델 등급 라우팅과 사용량 추적을 구축했습니다. GitOps·관측성 기반 운영으로 모델 교체를 단순화하고 LLM 비용을 약 78% 절감했습니다.
문제 상황
- 서비스별 LLM 제공 업체 직접 호출로 모델 교체 검증 반복, 은퇴 모델 장애 위험, API 키 분산
- LLM API 비용이 AWS 비용의 약 23% 수준으로 증가하고 서비스·기능 단위 사용량 추적 부재
구조와 흐름
- Envoy AI Gateway와 Envoy Gateway 기반 Control Plane·Data Plane 구성
- AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy를 쿠버네티스 리소스로 선언하고 프록시 설정으로 변환
- OpenAI API 호환 엔드포인트에서 low·medium·high 등급을 실제 제공 업체 모델로 라우팅
선택 이유
- 예산 정책, rate limit, OpenTelemetry 관측성, 비용 추적, 가드레일의 무료 셀프 호스팅 지원
- GitOps 환경에서 제공 업체·라우팅·인증 정책 변경을 Pull Request 기반으로 관리
- 제공 업체 키 대신 애플리케이션 명명 규칙과 기능 헤더로 서비스·기능별 사용량 식별
성능/운영 포인트
- 우선순위 기반 fallback과 429·연결 실패 재시도로 할인 경로 우선 사용
- 등급별 테스트 세트로 후보 모델 검증 후 공지·집중 모니터링·테스트 기준 보강
- 등급 라우팅 및 사용량 가시화 후 LLM 비용 최고치 대비 약 78% 절감
