Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
TurboQuant가 시장을 흔든 진짜 이유: AI 최적화는 이제 메인스트림
노타
2026년 3월 31일
AI

TurboQuant가 시장을 흔든 진짜 이유: AI 최적화는 이제 메인스트림

TurboQuant의 KV 캐시 양자화가 AI 메모리·전력 효율 경쟁의 핵심 신호임을 분석했습니다. 연구 단계인 만큼 실제 서빙 환경에서의 검증 필요성도 짚었습니다.

#TurboQuant#LLM
000
LLaMA-3.2-Vision 경량화를 위한 크로스 어텐션 기반의 시각 정보 축소
노타
2025년 5월 7일
AI

LLaMA-3.2-Vision 경량화를 위한 크로스 어텐션 기반의 시각 정보 축소

크로스 어텐션의 희소성을 활용해 LLaMA-3.2-Vision의 불필요한 시각 토큰을 제거했습니다. 성능을 유지하며 KV 캐시, 메모리 사용량, 추론 지연을 줄였습니다.

#LLaMA#LVLM
000
최대 24배 빠른 vLLM의 비밀 파헤치기
스캐터랩 핑퐁
2023년 9월 13일
AI

최대 24배 빠른 vLLM의 비밀 파헤치기

vLLM의 PagedAttention과 Continuous Batching을 코드 흐름 중심으로 분석했습니다. KV 캐시 블록 관리, 스케줄링, CUDA 기반 Single Query Attention을 설명합니다.

#vLLM#PagedAttention
200

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의