아키텍처
경계를 허무는 플랫폼 엔지니어링: 멀티클라우드와 AI 서비스 통합의 핵심 역할
두줄요약
멀티클라우드와 AI 통합을 위해 LLM 비종속 아키텍처와 권한 자동화 체계를 구축했습니다. 또한 호출 로그를 모아 비용을 추적하고 FinOps 인사이트를 확보했습니다.
핵심 내용
- 멀티클라우드와 AI 서비스 통합을 위해 LLM Agnostic Architecture를 구축한 플랫폼 엔지니어링 사례
- AWS EKS, IRSA, Kyverno, AWS Bedrock·GCP Vertex AI·Azure AI Portal 연동으로 모델 종속성 제거와 개발자 자율성 강화
- LLM 호출 로그와 메타데이터를 수집·통합해 FinOps와 비용 인사이트를 확보하는 Multi-Cloud LLMOps 파이프라인 구성
선택 이유
- 특정 클라우드 벤더와 LLM에 종속되지 않는 구조를 통해 다양한 AI 서비스를 유연하게 제품에 통합하려는 목적
- 엔지니어가 플랫폼 복잡도를 직접 다루지 않도록 권한·인증·메타데이터 주입을 자동화하는 방향성
장단점
- 장점: 개발 효율 향상, 보안 강화, 모델 선택의 유연성, 전사 비용 가시성 확보
- 단점: 로그 수집·조회 시스템 구축과 자동화에 따른 비용 투자 필요
성능/운영 포인트
- 토큰 사용량, 목적별 호출 수, 호출처 메타데이터를 함께 수집해 주간·일간 비용 추적
- AWS S3, Glue Catalog, Athena, Metabase로 통합 저장·쿼리·시각화 체계 구성
- 벤더별 LLM 호출 로그를 표준화해 분석 가능한 데이터 파이프라인으로 전환