국내 IT 기업 기술 블로그 최신 글

새로운 기술 블로그가 추가되었어요

필터 1

[기술분석] AI 추론 메모리 병목과 서버 아키텍처 변화

장문 컨텍스트와 RAG, AI 에이전트 확산으로 추론 병목이 메모리와 데이터 이동 경로로 옮겨가고 있습니다. GPU 중심 설계보다 HBM, DRAM, SSD를 함께 보는 계층형 아키텍처가 중요하다고 설명했습니다.

SK AI Summit 2025 현장에서 AI 수요 폭증과 공급 병목, 그리고 이를 풀기 위한 SK그룹의 효율 중심 전략을 소개했습니다. 메모리, 데이터센터, 온디바이스 AI, 제조 AI, 글로벌 협력까지 AI 생태계 전반의 방향을 정리했습니다.

PIM은 메모리 내부에서 연산을 수행해 데이터 이동을 줄이는 기술입니다. 폰 노이만 구조의 병목과 전력 문제를 줄이며 AI·빅데이터 처리 효율을 높입니다.

HBM의 구조와 원리를 통해 왜 AI 산업에서 고대역폭 메모리가 중요한지 설명했습니다. DRAM과 비교하며 속도, 대역폭, 용량 측면의 장점을 정리했습니다.