Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
Nota AI가 제안하는 AWS Inferentia에서 다양한 LLM 모델 양자화 최적화기법 사용하기
AWS
2026년 1월 20일
AI

Nota AI가 제안하는 AWS Inferentia에서 다양한 LLM 모델 양자화 최적화기법 사용하기

AWS Inferentia/Trainium에서 LLM 양자화 최적화 방법을 소개했습니다. 민감도 기반 선택적 양자화와 fake quantization으로 메모리를 줄이면서 정확도 손실을 완화했습니다.

#AWS Inferentia#Trainium
5600
AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄
스캐터랩 핑퐁
2022년 7월 13일
AI

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

AWS Inferentia로 TensorFlow RoBERTa 모델을 컴파일하고 GPU 인스턴스와 비용·성능을 비교했습니다. 1000RPS 기준 Inferentia의 높은 비용 효율과 동적 그래프 제약을 함께 정리했습니다.

#AWS Inferentia#TensorFlow
100

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의