AI
GenAI Everywhere: 새로운 넷츠프레소가 제시하는 Edge AI 최적화의 미래
두줄요약
생성형 AI의 엣지 실행을 어렵게 하는 동적 모델 구조와 이기종 하드웨어 문제를 설명했습니다. NPIR과 Cross UI로 모델 최적화 실험·측정·분석 과정을 통합하는 방향을 소개합니다.
구조와 흐름
- 엣지 환경의 생성형 AI 확산에 따른 저지연·개인정보 보호·연결 독립성 요구
- ONNX 그래프 최적화, 양자화, 가지치기, 필터 분해 기반의 기존 경량화 방식
- NPIR을 중심으로 프레임워크 어댑터와 하드웨어 백엔드를 연결하는 최적화 구조
문제 상황
- 입력 시퀀스와 KV cache 길이에 따라 달라지는 트랜스포머의 dynamic shape
- 모델 구조·프레임워크·런타임 조합 다변화에 따른 개별 최적화 규칙의 한계
- CPU·GPU·NPU·DSP·TPU별 메모리 구조와 지원 연산자 차이
해결 방법
- Aten operator 기반 NPIR로 PyTorch 정합성과 복잡한 트랜스포머 구조 표현
- CLI 기반 자동화와 GUI 기반 병목·SNR 분석을 결합한 Cross UI
- NetsPresso Probe의 모델 그래프 시각화와 최적화 전후 비교
성능/운영 포인트
- 타겟 하드웨어 기반 벤치마크와 SNR 품질 지표의 동시 측정
- 실험 기록 축적과 그래프 시각화를 통한 레시피 재현성 및 반복 분석
- 레이어별 병목과 최적화 기법의 실제 지연시간 기여도 확인
