

UniForm: 자원이 제한된 엣지 디바이스에서 효율적인 트랜스포머를 위한 재사용 어텐션 메커니즘
UniForm은 공유 어텐션 행렬로 다중 헤드 어텐션의 중복 계산과 메모리 사용량을 줄였습니다. 엣지 환경에서 정확도와 빠른 추론 속도를 함께 달성한 결과를 소개합니다.
#Transformer#Edge AI
000


UniForm은 공유 어텐션 행렬로 다중 헤드 어텐션의 중복 계산과 메모리 사용량을 줄였습니다. 엣지 환경에서 정확도와 빠른 추론 속도를 함께 달성한 결과를 소개합니다.


DenseNet 사전학습 모델의 분류기를 교체해 커스텀 이미지 분류 전이학습을 구현했습니다. 검증 기반 가중치 저장과 CSV·heatmap 시각화로 학습 결과를 관리했습니다.