AI
UniForm: 자원이 제한된 엣지 디바이스에서 효율적인 트랜스포머를 위한 재사용 어텐션 메커니즘
두줄요약
UniForm은 공유 어텐션 행렬로 다중 헤드 어텐션의 중복 계산과 메모리 사용량을 줄였습니다. 엣지 환경에서 정확도와 빠른 추론 속도를 함께 달성한 결과를 소개합니다.
구조와 흐름
- 다중 헤드 어텐션의 헤드별 개별 어텐션 행렬 계산을 단일 공유 행렬 기반 재사용 어텐션으로 통합
- 공유 행렬로 토큰 간 상대적 중요도를 포착하고 모든 헤드에서 공동 활용
- value 프로젝션 단계에 다양한 커널 크기의 depthwise convolution을 적용한 멀티스케일 문맥 추출
선택 이유
- 엣지 디바이스 배포를 가로막는 트랜스포머의 높은 메모리 사용량과 연산 비용
- 중복 어텐션 연산 제거를 통한 연산 복잡도 및 메모리 오버헤드 축소
성능/운영 포인트
- ImageNet-1K와 다양한 다운스트림 태스크, 여러 엣지 환경에서 평가
- UniForm-l 기준 ImageNet-1K Top-1 정확도 76.7%, Jetson AGX Orin 추론 시간 21.8ms
- 기존 경쟁 모델 대비 최대 5배 빠른 추론 속도
적용해볼 점
- 스마트폰·IoT·임베디드 환경의 실시간 영상 분석, 자율 주행, 스마트 홈 온디바이스 추론
- 정확도 유지와 메모리·추론 효율을 함께 요구하는 트랜스포머 경량화 설계
