아키텍처
단일 LLM Gateway 아키텍처 : Claude Code와 Codex를 Amazon Bedrock을 통해 한 곳에서
두줄요약
Claude Code와 Codex를 Amazon Bedrock에서 함께 쓰기 위한 단일 LLM Gateway 아키텍처를 소개했습니다.개발자 선택의 자유를 유지하면서 인증, 예산, 보안, 관측을 한곳에서 통합하는 운영 방안을 정리했습니다.
핵심 내용
- Claude Code와 Codex를 Amazon Bedrock에서 함께 운영하기 위한 단일 LLM Gateway 아키텍처 소개
- 개발자에게는 도구 선택 자유를 주고, 조직에는 단일 인증·단일 엔드포인트·예산 통제·MCP 관리·보안 Guardrails·Observability를 제공하는 구성
- LiteLLM을 Gateway로 두고 Bedrock-Runtime과 Bedrock-Mantle의 호출 경로, 인증 방식, 리전 차이, 로깅 차이를 흡수하는 방식 설명
구조와 흐름
- Private Subnet의 EC2에 LiteLLM을 배치하고, 로그와 메트릭은 Amazon RDS for PostgreSQL에 저장
- Claude Code는 Bedrock Invoke API, Codex는 OpenAI 호환 Response API로 호출하며 Gateway가 각각의 차이를 통합
- 서울 리전과 버지니아 리전 네트워크 연동, Private DNS와 VPC Peering으로 퍼블릭 경유 없이 사용 환경 구성
선택 이유
- 도구가 늘어날수록 인증, 예산, 보안, 관측 정책을 도구별로 따로 운영하는 비용과 복잡도 증가
- 개발자 선호와 작업 성격에 따라 Claude Code와 Codex를 유연하게 선택할 필요
- 단일 진입점에서 중앙 거버넌스를 적용해 운영 일관성과 확장성 확보
성능/운영 포인트
- 개발자별 API Key 기준 예산 설정과 초과 시 실시간 차단
- MCP 서버 자격증명 중앙 관리 및 호출 내역 통합 추적
- PII, 자격증명, 프롬프트 인젝션 차단과 CloudTrail·Invocation Logging 차이를 보완하는 통합 로깅