AI
스마트테크 코리아(STK) 2026 노타 부스 미리 보기: 엣지에서 구현하는 피지컬 AI
두줄요약
STK 2026에서 VLA·VLM·온디바이스 LLM의 엣지 최적화 데모를 소개합니다.\n양자화와 추론 효율화로 제한된 하드웨어의 실시간 AI 구동을 다룹니다.
문제 상황
- 로봇 제어와 실시간 영상 관제에서 클라우드 통신 지연을 감당하기 어려운 요구사항
- 제한된 연산력·메모리·전력을 지닌 엣지 디바이스에서 거대 AI 모델 구동 필요
- VLA 전 구간 양자화 시 앞단 오차가 액션 단계까지 누적되는 품질 저하
구조와 흐름
- VLA의 시각 인코더·LLM·액션 헤드 순차 처리와 물리 동작 변환
- VLM 기반 NVA의 영상 맥락 해석, 자연어 검색, 요약 보고 흐름
- 넷츠프레소 에이전트의 성능 목표·하드웨어 제약 입력과 압축 레시피 탐색
해결 방법
- VLA 앞단 가중치 보존과 액션 헤드 추론 효율화로 Qualcomm IQ-9075 포팅
- VLM을 엣지에서 구동하는 NVA와 NVIDIA VSS 결합 영상 관제
- Apple Silicon M4 CPU 환경의 혼합 정밀도 양자화와 추측 해독 적용
성능/운영 포인트
- SmolVLA 작업 성공률 1%p 하락 범위에서 전체 추론 1.63배, 액션 헤드 약 7배 가속
- M4 CPU 온디바이스 LLM의 최대 메모리 사용량 유지와 텍스트 생성 속도 향상
- 대화형 UI 기반 최적화 탐색 범위 축소와 엔지니어링·클라우드 연산 비용 절감
