AI
라즈베리파이에서 Llama를 8배 빠르게: KCC 2026 온디바이스 AI 최적화 경진대회
두줄요약
온디바이스 LLM 최적화 경진대회에서 통합 파이프라인 활용 사례를 소개했습니다. 라즈베리파이에서 품질을 유지하며 속도와 메모리를 8배 이상 개선했습니다.
문제 상황
- 라즈베리파이 같은 엣지 디바이스의 제한된 메모리와 연산 성능으로 인한 LLM 적재·실시간 추론 어려움
- 양자화, 런타임, 커널, 성능 측정 도구의 파편화로 인한 엔드투엔드 최적화 진입 장벽
구조와 흐름
- NetsPresso 기반 양자화·그래프 최적화·품질 검증·디바이스 실행용 내보내기 통합 파이프라인
- AWQ, AutoRound, SmoothQuant, GPTQ와 4·8비트 설정의 반복 조합 탐색
- 라즈베리파이 5에서 ExecuTorch 런타임과 XNNPACK 백엔드 기반 실측 평가
성능/운영 포인트
- 품질 게이트 통과 이후 TTFT, TPOT, 메모리 효율 중심의 본선 평가
- 우승팀의 품질 기준 유지 상태에서 토큰 생성 속도·메모리 사용량 8배 이상 개선, TTFT 3.8배 단축
- 단계별 품질 결과 가시화를 통한 그래프 양자화 구간 원인 식별과 압축 강도 조정
적용해볼 점
- 8비트 기준 품질 확보 후 4비트 압축을 탐색하고 품질 저하 시 알고리즘·비트폭 완화
- 모델별 압축 내성 차이를 전제로 한 개별 양자화 설정
- 검증된 기준선 파이프라인 확보 후 런타임·러너·커널 단위 추가 최적화
