AI
SplitQuant: 엣지 AI 기기에서의 신경망 저비트 양자화를 위한 레이어 분할 기법
두줄요약
SplitQuant는 레이어를 클러스터 기반으로 분할해 저비트 양자화의 이상치 영향을 줄였습니다. BERT-Tiny 실험에서 INT2 정확도를 FP32 수준에 가깝게 향상했습니다.
구조와 흐름
- 파라미터 값의 하위·중간·상위 클러스터링과 수식적으로 동등한 3개 레이어 분할
- 분할 레이어별 좁아진 값 범위와 개별 스케일링 계수를 통한 선형 양자화 해상도 향상
- 선형·합성곱·활성화 레이어 분할 후 재결합으로 원래 DNN 기능 유지
선택 이유
- 고급 양자화를 지원하지 않는 엣지 AI 기기의 단순 선형 양자화 제약
- 이상치 제거 과정의 중요 정보 손실 없이 이상치 영향 완화
- 가중치·편향의 k=3 k-means 클러스터링 기반 최적 분할
성능/운영 포인트
- BERT-Tiny 감정 인식 모델 INT2 정확도 86.5%에서 89.8%로 3.3%포인트 향상
- BERT-Tiny SMS 스팸 탐지 모델 INT2 정확도 96.2%에서 98.3%로 2.1%포인트 향상
- INT4·INT8에서도 성능 향상, INT2 대비 상대적으로 작은 개선 폭
