MoE란? AI 모델 구조 MoE(전문가 혼합)의 개념·원리·장단점 쉽게 이해하기
두줄요약
MoE의 토큰별 라우팅, 총·활성 파라미터, 밀집 구조 대비 계산 효율을 설명했습니다. 메모리 요구량과 양자화 난점, 이를 줄이는 NMQ 접근도 소개했습니다.
구조와 흐름
- 토큰별 라우터 점수 산정과 상위 전문가 선택
- 선택된 전문가 출력의 가중 합과 다음 층 전달
- 총 파라미터와 활성 파라미터의 분리
선택 이유
- 밀집 구조의 전체 파라미터 계산 비용 문제
- 지식량 확대와 토큰당 계산량 절감의 양립
트레이드오프
- 계산량은 활성 전문가 기준, GPU 메모리는 전체 전문가 기준
- 다중 GPU 환경의 전문가 파라미터 이동 및 통신 오버헤드
- 양자화 시 라우터 선택 변경과 저빈도 전문가 캘리브레이션 난점
성능/운영 포인트
- NMQ 기반 라우터 선택 보정과 합성 캘리브레이션 데이터 활용
- 양자화·가지치기 적용으로 Solar Open 2 크기와 GPU 요구량 축소
- 성능 유지와 메모리 절감의 동시 추구


