Amazon Bedrock에서 LLM 게이트웨이의 두 사각지대 메우기: 사라진 호출자와 흐려진 모델 거버넌스

문제 상황

• Amazon Bedrock 앞에 LLM 게이트웨이를 두면 호출자 신원과 모델별 관측 지점이 게이트웨이 뒤로 흐려지는 사각지대 발생
• Model Invocation Log에는 게이트웨이 역할만 남아 실제 사용자·팀 추적이 어렵고, Application Inference Profile 경유 시 모델별 사용량 로깅도 깨질 수 있음

해결 방법

• X-Amzn-Bedrock-Request-Metadata로 사용자, 팀, 키, 호출 ID를 주입해 Bedrock 로그만으로 호출자 복원
• Application Inference Profile을 사용해 모델별 CloudWatch 메트릭과 IAM 접근 거버넌스 확보
• Bedrock pass-through의 provider 추론 이슈를 소스 패치로 보완해 프로파일 ARN 경유 로깅 정상화

적용해볼 점

• Virtual Key 단위 예산과 IAM Identity Center 그룹 자동 매핑으로 조직 정책과 사용 통제 연결
• VPC Endpoint, 서브넷 분리, 최소 권한 IAM으로 게이트웨이와 Bedrock 통신 경로를 안전하게 유지