기지국에 딱 맞는 AI모델: On-Site Training과 추론 가속화
AI-RAN 시대를 대비해 기지국 내 AI 모델의 추론 가속화와 On-Site Training을 연구하는 글입니다. 엣지 환경에 맞는 모델 적용과 현장 학습 가능성을 다룹니다.
#LLM#추론
300
필터 1
하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축
하이퍼엑셀은 EC2 F2 인스턴스와 FPGA를 활용해 LPU 기반 LLM 추론 환경을 클라우드로 구축했습니다. PoC 운영 시간을 크게 줄이고 비용과 보안 부담도 낮췄습니다.
#LLM#추론
3200
Snowflake Arctic의 기술적 진보
Snowflake가 기업 중심 LLM Arctic을 오픈소스로 공개하고, 낮은 훈련비용과 높은 성능을 강조했습니다. Dense-MoE 하이브리드 구조와 FP8 양자화로 추론 효율도 개선했습니다.
#LLM#MoE
1000