기지국에 딱 맞는 AI모델: On-Site Training과 추론 가속화
AI-RAN 시대를 대비해 기지국 내 AI 모델의 추론 가속화와 On-Site Training을 연구하는 글입니다. 엣지 환경에 맞는 모델 적용과 현장 학습 가능성을 다룹니다.
#LLM#추론#모니터링
000
기지국에 딱 맞는 AI모델: On-Site Training과 추론 가속화
태그
추론 기술 블로그 글
추론 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 3개최신 3개 표시
관련 태그
최신 게시글
3개 표시
하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축
하이퍼엑셀은 EC2 F2 인스턴스와 FPGA를 활용해 LPU 기반 LLM 추론 환경을 클라우드로 구축했습니다. PoC 운영 시간을 크게 줄이고 비용과 보안 부담도 낮췄습니다.
#LLM#추론#FPGA
3000
Snowflake Arctic의 기술적 진보
Snowflake가 기업 중심 LLM Arctic을 오픈소스로 공개하고, 낮은 훈련비용과 높은 성능을 강조했습니다. Dense-MoE 하이브리드 구조와 FP8 양자화로 추론 효율도 개선했습니다.
#LLM#MoE#양자화
900
