태그

Neuron SDK 기술 블로그 글

Neuron SDK 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 2개최신 2개 표시

홈에서 필터

#LLM1,145 #AWS836 #GPU62 #Transformer50 #TensorFlow15 #AWS Inferentia2 #모델 서빙2 #Inference1 #Kubernetes536 #UI/UX484 #cloud466 #React386

최신 게시글

2개 표시

2025년 4월 9일

Nota AI가 제안하는 Transformer 모델을 AWS Inferentia/Trainium에 손쉽게 배포하는 방법

Hugging Face Transformer 모델을 AWS Inferentia/Trainium에 포팅하는 과정을 검증했습니다. return_dict=False 설정으로 tracing 오류를 줄여 12개 모델 모두 배포 가능함을 확인했습니다.

#AWS#Transformer#LLM

Nota AI가 제안하는 Transformer 모델을 AWS Inferentia/Trainium에 손쉽게 배포하는 방법

2022년 7월 13일

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

AWS Inferentia로 TensorFlow RoBERTa 모델을 컴파일하고 GPU 인스턴스와 비용·성능을 비교했습니다. 1000RPS 기준 Inferentia의 높은 비용 효율과 동적 그래프 제약을 함께 정리했습니다.

#AWS Inferentia#TensorFlow#Neuron SDK

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄