아키텍처
GS리테일의 전사 AI Gateway 구축 사례 – 1부: 인증·라우팅·계정 자동화 설계
두줄요약
GS리테일이 전사 AI 활용을 위해 인증과 라우팅을 중앙화한 AI Gateway 구축 사례를 소개했습니다. 계정 자동화와 크로스 계정 라우팅으로 비용과 쿼터까지 통제했습니다.
문제 상황
- 여러 AI 서비스가 조직별로 분산되며 인증 방식과 API Key가 제각각 관리되는 운영 복잡성
- 사용량과 비용 가시성 부족으로 예산 통제와 이상 사용 탐지가 어려운 상황
- 보안, 감사 로그, 권한 정책을 서비스별로 일관되게 적용하기 어려운 구조
원인 분석
- 개별 도구 도입 중심의 대응으로 전사 공통 거버넌스 계층 부재
- 사용자 환경에 자격 증명이 분산되며 교체·폐기·추적 관리의 한계 발생
- 팀별 호출량과 쿼터가 한 계정에 몰릴 경우 운영 병목과 전사 영향 확대
해결 방법
- LiteLLM 기반 AI Gateway를 Client와 Amazon Bedrock 사이의 공통 운영 계층으로 배치
- SSO 연동 Virtual Key로 신원 복원, 권한·비용·감사 정책을 중앙에서 적용
- 계정 생성과 온보딩을 Step Functions, EventBridge로 자동화하고 크로스 계정 라우팅으로 팀별 비용·쿼터 분리