국내 IT 기업 기술 블로그 최신 글

오늘 새 글

10개

오늘 조회수

1,574회

필터 1

GS리테일의 전사 AI Gateway 구축 사례 – 2부: 실사용을 견디는 운영과 거버넌스

GS리테일이 전사 AI Gateway 위에 운영·거버넌스 계층을 더해 실사용을 견디는 플랫폼으로 확장했습니다. 사용자 온보딩, 예산 라우팅, 가드레일, 감사, 외부 도구 연동까지 Gateway 안에서 통제했습니다.

GS리테일이 전사 AI 활용을 위해 인증과 라우팅을 중앙화한 AI Gateway 구축 사례를 소개했습니다. 계정 자동화와 크로스 계정 라우팅으로 비용과 쿼터까지 통제했습니다.

Amazon Bedrock 위에 LiteLLM 게이트웨이와 사내 포털을 붙여 LLM 키 발급, 승인, 예산 차단을 운영한 사례를 소개했습니다. 셀프서비스 발급과 그룹 기반 통제로 비용과 감사 체계를 함께 묶었습니다.

Amazon Bedrock 기반 Claude Code를 조직에서 안전하게 쓰기 위한 LLM Gateway 구축 방법을 설명했습니다. SSO 연동, 사용자별 예산 통제, 내부망 호출로 엔터프라이즈 운영성을 높였습니다.

여러 LLM 제공사와 키 관리를 하나의 SDK로 묶어 호출 복잡성을 줄인 사례를 소개했습니다. LiteLLM과 Langfuse를 활용해 추적, 프롬프트 관리, fallback까지 통합한 점이 핵심입니다.