태그

KV Cache 기술 블로그 글

KV Cache 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 1개최신 1개 표시

[기술분석] AI 추론 메모리 병목과 서버 아키텍처 변화

장문 컨텍스트와 RAG, AI 에이전트 확산으로 추론 병목이 메모리와 데이터 이동 경로로 옮겨가고 있습니다. GPU 중심 설계보다 HBM, DRAM, SSD를 함께 보는 계층형 아키텍처가 중요하다고 설명했습니다.