AI
30B 로컬 LLM을 맥북에서 돌릴 수 있을까? 1.58비트 터너리 양자화
두줄요약
1.58비트 터너리 양자화로 30B LLM 가중치를 약 10GB까지 줄였습니다. 증류와 경계 마스킹으로 성능을 복원해 24GB 이상 맥북 실행 가능성을 제시합니다.
문제 상황
- 30B급 LLM의 4비트 가중치 약 16GB와 런타임 메모리로 인한 로컬 맥북 실행 제약
- BF16 체크포인트의 단순 1.58비트 PTQ 직후 GSM8K·HumanEval 0점 수준의 생성 성능 붕괴
구조와 흐름
- 가중치를 임계값 기준으로 -1·0·+1로 변환하고 그룹별 스케일로 복원하는 터너리 양자화
- Nemotron 3.5 Lightning의 Mamba·Attention 하이브리드 구조와 Attention 6개 층의 KV 캐시 구성
- 가중치 약 10GB, KV 캐시·Mamba 상태·런타임 버퍼를 포함한 최대 약 12.4GB 실행 메모리
해결 방법
- 사전학습 재수행 대신 기존 BF16 모델을 활용하는 PTQ 방식 채택
- 학생 생성 문맥을 교사가 교정하는 on-policy와 off-policy 증류 병행
- STE 기반 잠재 가중치 갱신과 임계값 ±10% 경계 가중치만 학습하는 경계 마스킹
성능/운영 포인트
- 생성형 벤치마크 7종 평균 83.82점으로 원본 BF16 대비 89.4% 회복
- GSM8K 89.31점, HumanEval 90.85점으로 원본 대비 약 94% 수준
- 기본 GPU 메모리 한도 기준 24GB 이상 맥북 권장, 16GB 기기는 한도 상향 시 시스템 여유 감소
