
카페 아르바이트를 뽑는데, AI 대학원생이 지원을 했다.
두줄요약
MoE Gemma 4 26B의 전문가 절반을 가지치기해 노트북 내장 GPU에서 카페 주문 처리를 검증했습니다. 일반 지식은 감소했지만 64e는 실전 성능을 유지했으며, 과도한 가지치기는 사람 평가에서 드러났습니다.
문제 상황
- 대형 MoE LLM의 전체 전문가 메모리 적재 부담으로 저사양 노트북·온프레미스 환경 배포 제약
- 카페 주문을 도구 호출로 변환하는 제한 업무에서 일반 지식 일부 제거 가능성 검증
해결 방법
- Gemma 4 26B의 전문가 활성도 기반 점수로 층별 저기여 전문가 가지치기
- 호출 빈도를 반영한 전체 토큰 기여도와 고빈도 전문가 보호 규칙 적용
- 64e·98e·48e 모델을 생성해 원본·12B·규칙 기반 코드와 비교
성능/운영 포인트
- 64e는 11GB 크기로 내장 GPU에서 12B보다 빠른 생성 속도와 높은 실전 시험 점수
- 프롬프트를 고정 정보→가끔 변경 정보→매번 변경 정보 순으로 배치해 주문 변경 응답 중앙값 73초에서 4.7초로 단축
- 전문가 가지치기의 속도 이득은 연산량 자체보다 내장 GPU 적재 가능성에서 발생
주의할 점
- 전문가를 과도하게 제거한 48e는 AI 생성 카페 시험과 달리 사람이 작성한 실전 시험에서 성능 급락
- 실전 시험 20문항, 단일 노트북·단일 실행 조건으로 통계적 우위 단정 한계
- 실제 사용자 발화 기반의 독립 평가 데이터와 추가 검증 필요





