AI
CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리
두줄요약
분산된 LLM 호출을 중앙 게이트웨이로 통합해 인증·비용·데이터 정책을 적용했습니다. EKS 기반 확장 구조와 CLI 자동화로 안정적인 전사 AI 사용 환경을 구축했습니다.
문제 상황
- 전사 LLM 사용 확산에 따른 모델 접근 경로, 비용, 외부 전송 데이터의 분산
- 사용자·팀·프로바이더별 사용 현황과 정책 적용 여부를 통합 파악하기 어려운 구조
구조와 흐름
- Amazon Bedrock, Claude Platform on AWS, 사내 오픈모델을 단일 LLM Gateway 엔드포인트로 통합
- 인증·예산 확인·모델 전환·호출량 제한·모델 호출·비용 기록 순서의 요청 처리
- EKS·Fargate 기반 스테이트리스 프록시와 Valkey·Aurora PostgreSQL·S3 외부 상태 저장소 분리
선택 이유
- 사내 SSO 기반 임시 VK로 사용자 인증과 실제 프로바이더 API 키의 중앙 관리
- 예산 소진 시 요청 차단 대신 사내 오픈모델 전환으로 업무 연속성 확보
- gateway-cli의 SSO 로그인, VK 발급·갱신, Claude Code 연결 자동화
성능/운영 포인트
- 파드 자동 확장과 Valkey Lua 스크립트의 원자적 예산 카운터 갱신
- Private NAT Gateway와 SNAT를 통한 IDC 방화벽 고정 출발지 IP 대응
- Admin API·Gateway Proxy·Cost Worker 분리와 순차 배포로 장애·변경 영향 범위 축소
