AI
NotaMoEQuantization: Solar-Open-100B에 적용된 MoE 구조 특화 양자화 방법론
두줄요약
MoE 양자화의 재라우팅 문제를 줄이기 위한 NMQ 손실 함수를 소개했습니다. Solar-Open-100B에서 성능과 라우팅 일치도 개선을 확인했습니다.
문제 상황
- MoE 모델에서 양자화로 라우터 로짓이 흔들리며 top-k 전문가 선택 자체가 바뀌는 재라우팅 위험
- 블록 출력 복원 손실만으로는 비선형적인 라우팅 경로 변화와 장문 생성 품질 저하 방지의 한계
해결 방법
- AutoRound의 블록 출력 복원 손실에 라우터 로짓 정렬 손실을 결합한 NotaMoEQuantization
- top-k 로짓 값과 시그모이드 민감 구간의 확률 차이를 보존하는 값 정렬
- top-k 내부 순위 및 k번째와 경계 후보 간 마진을 보존하는 구조 정렬
성능/운영 포인트
- Solar-Open-100B의 W4A16·NVFP4 양자화에서 베이스라인 대비 일관된 벤치마크 성능 향상
- 장문 추론 벤치마크에서 더 뚜렷한 개선 경향과 전문가 집합 자카드 일치도 최대 11.29% 이상 향상
- NVIDIA B300 SXM6와 vLLM 측정에서 양자화 방식별 지연 시간 개선, NVFP4의 W4A16 대비 TTFT 약 2배 개선
적용해볼 점
- MoE 양자화 시 출력 MSE뿐 아니라 라우터의 값·순위·경계 보존을 함께 최적화
- 더 낮은 비트 정밀도 및 AutoRound 외 양자화 기법과의 결합 검증 필요
