데브옵스
Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례
두줄요약
Amazon Bedrock 위에 LiteLLM 게이트웨이와 사내 포털을 붙여 LLM 키 발급, 승인, 예산 차단을 운영한 사례를 소개했습니다. 셀프서비스 발급과 그룹 기반 통제로 비용과 감사 체계를 함께 묶었습니다.
핵심 내용
- Amazon Bedrock 위에 LiteLLM 게이트웨이와 사내 포털을 분리해 LLM 발급·승인·예산·감사를 하나의 운영 흐름으로 구성
- 개인은 SSO 이메일, 서비스는 svc:{서비스명} 기준으로 귀속해 사용량과 권한을 일관되게 관리
- 일반 모델은 셀프서비스로 제공하고, 고비용 모델은 그룹 기반 승인 절차로 제한
- 사용자/프로젝트 단위 예산, 429 차단, 웹훅 통보, CloudWatch·S3 기반 로깅으로 비용 통제를 구현
적용해볼 점
- Bedrock 기본 기능만으로 부족한 셀프서비스 발급과 실시간 차단을 게이트웨이로 보완하는 구조
- 귀속 기준을 개인과 서비스로 단순화해 감사와 예산 관리를 연결하는 방식
- 직접 호출 경로까지 함께 통제하고 전환 완료 기준을 다중 조건으로 확인하는 운영 방식