국내 IT 기업 기술 블로그 최신 글

노타

2025년 5월 7일

AI

LLaMA-3.2-Vision 경량화를 위한 크로스 어텐션 기반의 시각 정보 축소

크로스 어텐션의 희소성을 활용해 LLaMA-3.2-Vision의 불필요한 시각 토큰을 제거했습니다. 성능을 유지하며 KV 캐시, 메모리 사용량, 추론 지연을 줄였습니다.