태그

Inferentia 기술 블로그 글

Inferentia 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 1개최신 1개 표시

AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

AWS Inferentia 기반 TensorFlow 모델 서빙의 정합성 검증과 EKS 배포 과정을 소개했습니다. 토크나이저 분리와 동적 배치로 처리량을 높이고 비용 절감 가능성을 확인했습니다.