태그

KV cache 기술 블로그 글

KV cache 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 2개최신 2개 표시

홈에서 필터

#LLM1,062 #Transformer35 #양자화6 #quantization4 #AI 인프라3 #추론 칩1 #DeepSeek1 #AWS678 #cloud458 #Kubernetes437 #UI/UX400 #자동화319

최신 게시글

2개 표시

2026년 8월 6일

[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩

에이전틱 AI 확산에 따라 LLM 추론 최적화 기술과 추론 전용 칩의 중요성이 커졌습니다. 양자화, KV 캐시 압축, LPU·TPU 활용으로 비용과 지연 시간을 함께 줄이는 방향을 정리했습니다.

#LLM#양자화#KV cache

[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩

2025년 9월 8일

수식없이 GPT(트랜스포머) 이해하기. 2편

GPT 기반 LLM의 추론 최적화와 양자화 개념을 설명했습니다. DeepSeek의 Latent Vector 기반 방식으로 KV Cache 메모리를 줄이는 사례도 다뤘습니다.

#LLM#KV Cache#quantization

수식없이 GPT(트랜스포머) 이해하기. 2편