[Nota AI Server] 온프레미스 LLM 구축, GPU 사기 전에 확인해야 할 것
온프레미스 LLM의 GPU 수는 모델 크기뿐 아니라 양자화·가지치기와 KV 캐시 조건을 함께 고려해야 합니다. Nota AI Server는 최적화와 서빙 구성을 사전 검증해 GPU 절감 구성을 제공합니다.
#LLM#MoE#양자화
000
![[Nota AI Server] 온프레미스 LLM 구축, GPU 사기 전에 확인해야 할 것](https://cdn.prod.website-files.com/69d764b1be3398a43fb536b5/6ad712be53a4308dfbe50018_kr_thumbnail.webp)
태그
가지치기 기술 블로그 글
가지치기 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 4개최신 4개 표시
관련 태그
최신 게시글
4개 표시
LD-Pruner: Task-Agnostic 인사이트를 활용한 Latent Diffusion Models (LDMs)의 효율적인 가지치기
LD-Pruner는 잠재 표현 변화로 LDM Unet 연산자의 중요도를 평가해 가지치기합니다. 다양한 생성 작업에서 성능 저하를 줄이며 추론 속도와 메모리 효율을 개선했습니다.
#LDM#diffusion#가지치기
000
축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법
트랜스포머 블록을 제거하는 깊이 가지치기로 LLM 추론 비용과 지연을 줄였습니다.\n소규모 배치 환경에서 너비 가지치기보다 빠른 생성 속도와 경쟁력 있는 성능을 보였습니다.
#LLM#가지치기#Transformer
000
파이넷츠프레소의 가지치기 기법을 활용한YOLOv5-L의 실시간 처리 속도 향상
PyNetsPresso의 DAP로 YOLOv5-L에서 의존성을 고려한 파라미터 제거 방식을 소개했습니다. Jetson Xavier·TensorRT 환경에서 2.63배 성능 향상과 2% 수준의 성능 저하를 제시했습니다.
#YOLOv5#NetsPresso#가지치기
000
