AI
전문가의 절반을 내보냈습니다
두줄요약
MoE 전문가 사용량 편중을 분석해 REAP 기반 절반 프루닝을 적용했습니다. 유저 지표 차이 없이 GPU당 대화 처리량을 1.6배로 높였습니다.
문제 상황
- 더 큰 MoE 모델의 성능 향상과 GPU 메모리·서빙 비용 증가의 동시 발생
- 토큰당 계산량과 달리 전체 전문가 파라미터 상주가 필요한 MoE 서빙 구조
원인 분석
- 상위 10% 전문가에 라우팅의 70.4% 집중, 하위 50% 전문가는 4.8%만 처리
- 출력층으로 갈수록 소수 전문가로의 라우팅 편중 심화
해결 방법
- REAP·MSAN·EasyEP 기준으로 전문가 절반 프루닝 후 동일 조건 SFT 수행
- 내부 평가와 실제 유저 A/B 테스트를 거쳐 REAP 절반 프루닝 선택
- 레이어별 상위 전문가와 해당 라우터 게이트 행렬만 유지하는 모델 축소
성능/운영 포인트
- REAP 절반 프루닝에서 유저당 이용 시간은 무프루닝과 구별 불가, GPU당 KV 캐시 1.60배 확보
- 1/4 프루닝은 유저당 이용 시간 2.6% 하락, 1/8 프루닝은 5.1% 하락으로 조기 종료
- 단계적 프루닝은 추가 학습 비용 대비 일괄 프루닝과 차이 미확인
