30B 로컬 LLM을 맥북에서 돌릴 수 있을까? 1.58비트 터너리 양자화
1.58비트 터너리 양자화로 30B LLM 가중치를 약 10GB까지 줄였습니다. 증류와 경계 마스킹으로 성능을 복원해 24GB 이상 맥북 실행 가능성을 제시합니다.
#LLM#양자화#지식 증류
2000
on-device AI 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 1개 · 많이 쓴 회사 노타·삼성
3개 표시
1.58비트 터너리 양자화로 30B LLM 가중치를 약 10GB까지 줄였습니다. 증류와 경계 마스킹으로 성능을 복원해 24GB 이상 맥북 실행 가능성을 제시합니다.
넷츠프레소 에이전트는 자연어 목표를 해석하고 HPO로 모델 최적화 조합을 탐색합니다. 가드레일과 검증으로 재현성을 확보하며 전문가 수준의 결과를 비교했습니다.
NNStreamer를 확장해 기기 간 AI 파이프라인을 연결하는 Among-Device AI 구조를 소개했습니다. NNStreamer-Edge와 Machine Learning Service로 원격 추론·파이프라인 공유를 지원합니다.