Amazon Bedrock 위에 사내 LLM Gateway 구축하기: Claude Code, Codex를 위한 인증·비용·거버넌스
사내 LLM Gateway로 Claude Code와 Codex의 인증, 비용, 모델 접근을 중앙에서 통제하는 설계를 정리했습니다.\nBedrock 기반 멀티 프로바이더 환경에서 예산 차단, 자동 다운그레이드, 감사 추적을 함께 구현한 사례입니다.

사내 LLM Gateway로 Claude Code와 Codex의 인증, 비용, 모델 접근을 중앙에서 통제하는 설계를 정리했습니다.\nBedrock 기반 멀티 프로바이더 환경에서 예산 차단, 자동 다운그레이드, 감사 추적을 함께 구현한 사례입니다.
DLM과 AR의 구조 차이, 지연 이점, 검증 방식과 평가 게이트 설계를 AWS 환경에서 설명했습니다. 데이터 구조화와 검색 개선으로 사실 정밀도와 환각을 함께 개선한 사례를 다뤘습니다.
Amazon CloudWatch의 네이티브 OpenTelemetry 지표 수집과 PromQL 지원을 소개했습니다. EKS, Grafana, 애플리케이션 지표를 하나의 파이프라인과 쿼리 언어로 통합하는 방법을 설명했습니다.
PostgreSQL 18의 주요 성능 향상 기능을 Amazon Aurora 및 Amazon RDS 기준으로 정리했습니다. 복합 인덱스 활용, EXPLAIN 가시성, autovacuum 제어 개선을 함께 소개했습니다.
스트라드비젼은 AWS 기반 하이브리드 인프라로 희귀·위험 시나리오 데이터를 합성하고 시뮬레이션했습니다. 이를 통해 자율주행 AI 학습과 검증 속도를 높이고 비용도 절감했습니다.
Amazon Bedrock 모델을 promptfoo로 비교 평가하는 방법을 소개했습니다. 프롬프트와 모델 변경 시 품질을 회귀 테스트처럼 검증할 수 있는 흐름을 설명했습니다.
Oracle Database@AWS의 네트워크 구성과 연결 옵션, TGW 허브앤스포크 설계를 정리했습니다. 엔터프라이즈 환경에서 DNS, CIDR, AZ 정렬 같은 핵심 주의사항도 함께 안내했습니다.
AWS Site-to-Site VPN 유지보수 중 발생하는 장애 원인과 대응 방법을 설명했습니다. BGP와 Tunnel Endpoint Lifecycle Control을 함께 사용해 무중단 교체를 구현하는 방법을 정리했습니다.
AWS Elemental Inference와 Amazon Bedrock을 결합해 라이브 방송의 문맥을 실시간 분석하고 광고를 자동 삽입하는 아키텍처를 소개했습니다. SCTE-35와 MediaTailor로 오버레이 광고를 연동해 시청자 경험과 광고 효율을 함께 높였습니다.
사내 ERP 회계 데이터를 활용해 Agentic AI 프로토타입을 구축한 과정을 정리했습니다. Strands Agents SDK와 Kiro로 역할 분리, Context 관리, 데이터 추출과 후속 작업 연결을 검증했습니다.
OpenSearch 3.3과 derived source로 미리캔버스 검색의 stored fields 병목과 세그먼트 병합 문제를 해결했습니다. 신규 클러스터 도메인 스위칭으로 무중단 전환하고 레이턴시와 IOPS를 크게 개선했습니다.
미리캔버스는 OpenSearch에서 시맨틱 벡터와 비주얼 벡터를 함께 쓰는 듀얼 벡터 검색을 도입했습니다. BM25 선필터와 메모리 최적화 인스턴스 전환으로 성능과 정확도를 함께 개선했습니다.
포스코DX는 현장 암묵지를 AI가 활용할 수 있는 지식 자산으로 전환하는 PoC를 진행했습니다.\nGraphiti와 Amazon Bedrock 기반 지식 그래프로 설계 규칙을 구조화하고, 검색과 추론까지 자동화했습니다.
하나투어는 Amazon Neptune 기반 GraphRAG와 Bedrock AgentCore로 여행상품 기획 에이전트를 구축했습니다. 수작업 초안 시간을 2~3일에서 2~3분으로 줄이고, 관계 기반 그라운딩으로 환각을 낮췄습니다.
Amazon Bedrock AgentCore로 에이전트 운영의 관측성, 평가, 최적화를 하나의 AgentOps 사이클로 정리했습니다. 트레이스와 메트릭, 로그를 바탕으로 품질과 안전성을 지속 개선하는 흐름을 설명했습니다.
에이전틱 AI를 프로덕션에 올리기 위한 AgentOps와 파운데이션, 게이트웨이 패턴을 소개했습니다. Amazon Bedrock AgentCore로 모델, 도구, 에이전트 접근을 통합하는 방법을 설명했습니다.
메가MGC커피가 RDS for MySQL을 Aurora Serverless v2로 전환해 오전 피크 트래픽 대응력을 높였습니다. 또한 Read Replica 기반 Cut-over와 ACU 조정으로 안정성과 비용 효율을 함께 확보했습니다.
공모전 브리핑 작성의 진입 장벽을 낮추기 위해 AWS Bedrock과 Strands Agents SDK 기반 AI 에이전트를 도입했습니다. 초안 생성과 검수, 분석을 분리해 응답 속도와 운영 효율을 높이고, 브리핑 이탈률도 줄였습니다.
AWS DevOps Agent로 성능 테스트 분석을 자동화하는 활용 사례를 소개했습니다. JMeter 부하 테스트에서 병목 원인을 찾고 수정 후 재검증하는 흐름을 보여주었습니다.

Claude Code와 Codex를 Amazon Bedrock에서 함께 쓰기 위한 단일 LLM Gateway 아키텍처를 소개했습니다.개발자 선택의 자유를 유지하면서 인증, 예산, 보안, 관측을 한곳에서 통합하는 운영 방안을 정리했습니다.
