AI
Tritony를 활용한 추론요청 간소화
두줄요약
Triton gRPC Client와 Tritony로 VAD 모델에 추론 요청하는 과정을 비교했습니다. Tritony가 요청 구성과 데이터 전달 코드를 간소화하는 방식을 소개합니다.
핵심 내용
- Triton Inference Server의 VAD 모델 추론 요청을 단순화하기 위한 Tritony 라이브러리 소개
- 기본 Triton gRPC Client와 Tritony의 요청 코드 및 처리 단계 비교
구조와 흐름
- 기본 Client의 채널·Stub 생성, 모델 메타데이터 조회, 입력·출력 텐서 및 Raw Data 구성 과정
- Tritony의 모델·버전·주소·프로토콜 기반 Client 생성과 입력 딕셔너리 호출 방식
- pydub 기반 16kHz 모노 음성 Raw Data 변환 후 VAD 추론 요청
선택 이유
- 기본 Client의 Request·Tensor·데이터 타입 수동 구성 부담 완화
- 모델 입력 정보와 요청 과정을 Client 추상화로 축소
적용해볼 점
- Triton Server 기반 음성 VAD 모델 호출에 Tritony 적용
- 다중 입력·출력 모델에서 텐서 구성 코드와 요청 흐름 비교
