SGLang을 활용한 다국어 및 Multimodal Decision Model 구성하기
두줄요약
SGLang과 Qwen3-VL-8B로 다국어·이미지 판단을 수행하는 Decision Model 구성을 소개합니다. Confidence 보정과 Hybrid Escalation을 통해 Agent 지연시간과 비용을 줄이는 방법을 설명합니다.
문제 상황
- 다국어 텍스트와 이미지 입력을 닫힌 선택지로 판단하는 Agent 수요 증가
- Frontier Model 기반 판단 호출의 높은 지연시간·토큰 비용과 민감 데이터 외부 전송 제약
구조와 흐름
- SGLang의
/v1/systemone에서 Qwen3-VL-8B Label Logit을 읽는 Prefill-only 텍스트 판단 - AgentCore Agent의 Guardrail·라우팅·도구 선택·Escalation 판단을 VPC 내 Decision Model로 연결
- 이미지 입력은
/v1/chat/completions와 base64 Data URL로 VPC 내부 처리
트레이드오프
- 단일 토큰 Label 기반 선택지 26개 이하에서 안정적 품질, 초과 시 계층형 판단 필요
- Zero-shot 다국어 VLM은 유연성과 이미지 지원 장점, Raw Confidence 과신 문제 존재
- 경량 Decision Model은 CPU 서빙 가능하지만 한국어 데이터 Fine-tuning·재보정·재검증 부담
성능/운영 포인트
- 판단 노드 교체 실측에서 1회 판단 지연 약 15배 단축, e2e 지연 33.6% 및 비용 18% 절감
- Reliability Table·Temperature Scaling 기반 Confidence Threshold 보정과 Task별 사전 평가 필요
- Guardrail·저신뢰 판단은 Frontier Model 또는 사람 검토로 Escalation하는 Hybrid 경로 권장




