AI
서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
두줄요약
토스의 AI 플랫폼이 모델 사용 검토부터 Gateway 호출·도구 권한 관리까지 연결한 구조를 소개했습니다. 예산·처리 용량·보안 로그를 통합 관리해 서비스 팀의 공통 운영 부담을 줄였습니다.
구조와 흐름
- GenAI Portal의 모델 사용 신청·프로젝트 설정과 GenAI Gateway의 실제 모델 호출 연결
- MCP Gateway를 통한 사내 도구 실행 권한 검증과 데이터 접근 권한의 분리
- Gateway 어댑터의 공급자별 인증·요청 형식 변환, 공통 권한·사용량 제어 분리
선택 이유
- 서비스 팀별 모델 연동, 권한 확인, 사용량 집계, 장애 대응의 반복 작업 축소
- 프로젝트 단위의 모델 권한·예산·사용량·변경 이력 통합 관리
- 데이터 등급, 실행 환경, 사용 목적, SLA를 함께 고려하는 금융 서비스 검토 체계
성능/운영 포인트
- 개인정보·프롬프트 공격 가드레일과 본문 마스킹 로그, Langfuse 트레이스 연계
- 누적 예산과 TPM 한도의 분리, 진행 중 요청의 예상 출력 토큰 예약·완료 후 보정
- 약정 용량 PTU 우선 라우팅, 부족 시 PAYG 전환, 배포 복구 확인 후 기존 경로 재활용
주의할 점
- 호출 형식 통일과 별개인 모델별 도구 호출·구조화 출력 지원 여부 확인
- 도구 실행 권한과 연결 서비스의 데이터 접근 권한 분리 관리
- 같은 모델의 경로 전환과 응답 품질이 달라질 수 있는 모델 전환의 구분
