CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리
분산된 LLM 호출을 중앙 게이트웨이로 통합해 인증·비용·데이터 정책을 적용했습니다. EKS 기반 확장 구조와 CLI 자동화로 안정적인 전사 AI 사용 환경을 구축했습니다.
#LLM#AWS#Amazon EKS
6900

gateway 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 1개 · 많이 쓴 회사 토스·카카오페이·AWS
3개 표시
분산된 LLM 호출을 중앙 게이트웨이로 통합해 인증·비용·데이터 정책을 적용했습니다. EKS 기반 확장 구조와 CLI 자동화로 안정적인 전사 AI 사용 환경을 구축했습니다.

토스의 AI 플랫폼이 모델 사용 검토부터 Gateway 호출·도구 권한 관리까지 연결한 구조를 소개했습니다. 예산·처리 용량·보안 로그를 통합 관리해 서비스 팀의 공통 운영 부담을 줄였습니다.

Cilium egress gateway를 카카오페이증권 Gateway에 적용한 경험을 공유했습니다. 외부 통신 흐름을 Gateway에서 제어한 사례를 간단히 소개했습니다.