AI
양자화란? AI 모델 양자화의 개념·원리·종류 쉽게 이해하기 (INT8·FP8·NVFP4)
두줄요약
AI 모델 양자화의 비트 축소 원리와 INT8·FP8·NVFP4 포맷 차이를 설명합니다. 메모리 절감 효과와 정확도·하드웨어·캘리브레이션의 고려 사항을 다룹니다.
구조와 흐름
- 모델의 가중치·활성값을 적은 비트의 제한된 눈금값으로 근사하는 경량화 방식
- 비트 수 감소에 따른 표현 가능한 값의 축소와 원래 값 간 양자화 오차 발생
- INT의 균일 간격과 FP의 값 크기별 가변 간격, W4A16·W8A8의 가중치·활성값 비트 표기
선택 이유
- 모델 크기와 메모리 사용량 절감, 소형 기기 배포와 필요 GPU 수 축소
- INT8의 폭넓은 칩 지원과 FP8·NVFP4의 최신 하드웨어 지원 조건
- 포맷 선택 시 모델 정확도와 실행 칩·소프트웨어 지원 여부의 동시 고려
트레이드오프
- 7B 모델 가중치 기준 FP32 28GB, FP16 14GB, INT8 7GB, INT4 3.5GB 수준의 용량 변화
- 비트 수 감소에 따른 성능 저하 가능성과 작업·모델별 상이한 영향
- 가지치기의 숫자·연결 제거와 달리 숫자 개수 유지 및 표현 비트 축소
주의할 점
- 이상치로 인한 눈금 범위 확대와 작은 값의 양자화 오차 증가
- 활성값 분포 확인을 위한 캘리브레이션과 실제 사용 환경을 반영한 예시 데이터 필요
- NVFP4의 묶음별 눈금 간격 조정 및 블랙웰 세대 이전 GPU에서의 속도 이득 부재
