목록 보기
카페 아르바이트를 뽑는데, AI 대학원생이 지원을 했다.
AI

카페 아르바이트를 뽑는데, AI 대학원생이 지원을 했다.

CSLEE
CSLEE
2026년 11월 16일

두줄요약

MoE Gemma 4 26B의 전문가 절반을 가지치기해 노트북 내장 GPU에서 카페 주문 처리를 검증했습니다. 일반 지식은 감소했지만 64e는 실전 성능을 유지했으며, 과도한 가지치기는 사람 평가에서 드러났습니다.

문제 상황

  • 대형 MoE LLM의 전체 전문가 메모리 적재 부담으로 저사양 노트북·온프레미스 환경 배포 제약
  • 카페 주문을 도구 호출로 변환하는 제한 업무에서 일반 지식 일부 제거 가능성 검증

해결 방법

  • Gemma 4 26B의 전문가 활성도 기반 점수로 층별 저기여 전문가 가지치기
  • 호출 빈도를 반영한 전체 토큰 기여도와 고빈도 전문가 보호 규칙 적용
  • 64e·98e·48e 모델을 생성해 원본·12B·규칙 기반 코드와 비교

성능/운영 포인트

  • 64e는 11GB 크기로 내장 GPU에서 12B보다 빠른 생성 속도와 높은 실전 시험 점수
  • 프롬프트를 고정 정보→가끔 변경 정보→매번 변경 정보 순으로 배치해 주문 변경 응답 중앙값 73초에서 4.7초로 단축
  • 전문가 가지치기의 속도 이득은 연산량 자체보다 내장 GPU 적재 가능성에서 발생

주의할 점

  • 전문가를 과도하게 제거한 48e는 AI 생성 카페 시험과 달리 사람이 작성한 실전 시험에서 성능 급락
  • 실전 시험 20문항, 단일 노트북·단일 실행 조건으로 통계적 우위 단정 한계
  • 실제 사용자 발화 기반의 독립 평가 데이터와 추가 검증 필요

다음 읽기

#LLM 주제를 이어서 읽기

경량 언어모델의 종류와 장점, 한계

경량 언어모델의 종류와 메모리·비용·로컬 배포 측면의 장점을 정리했습니다. 실제 업무 데이터로 성능을 측정하고 RAG·검증 구조를 병행하는 방법을 제안합니다.

CSLEE
CSLEE
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...