우아한형제들의 AI 거버넌스, 플랫폼에 담다
AI
우아한형제들의 AI 거버넌스, 플랫폼에 담다
두줄요약
AI Studio와 AI Gateway로 LLM·Agent 사용 신청, 정책 승인, 호출 기록을 프로젝트 단위로 연결했습니다. 실시간 비용 관측과 프롬프트 캐싱으로 예산·보안을 관리하고 비용을 최적화했습니다.
문제 상황
- LLM·Agent 사용 확대로 프로젝트별 비용 원인, 담당자, 허용 범위 파악의 어려움
- 공용·개별 크레덴셜 혼재와 외부 Provider 전송에 따른 보안 위험
구조와 흐름
- AI Studio의 과제 신청·정책 평가·승인 설정과 AI Gateway의 호출 실행 분리
- Virtual Key 기반 프로젝트 식별 후 허용 모델·예산·RPM·TPM 확인, Provider·MCP 서버 전달
- Langfuse 트레이스, Grafana 지표, Slack 경보를 프로젝트 단위로 연결
해결 방법
- LiteLLM 기반 공통 호출 경로로 Provider별 모델과 사내 서빙 모델 통합
- 정책 파일 기반 기본 범위 즉시 발급, 비용·보안 예외 항목만 사내 승인 시스템 연동
- 서비스 카탈로그·승인 시스템·Gateway별 원본 데이터 유지와 설정 상속 방식의 불일치 방지
성능/운영 포인트
- Gateway 실시간 비용으로 예산 소진·사용량 급증 감지, 정산은 Provider 청구 데이터 활용
- 반복 시스템 프롬프트·도구 설명의 프롬프트 캐싱 최적화
- 캐시 비율 5%에서 97% 전환, 요청당 비용 84% 절감과 평균 응답 시간 0.79초에서 1.33초 증가
