Velopers
필터 1
[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩
KT 클라우드
AI

[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩

에이전틱 AI 확산에 따라 LLM 추론 최적화 기술과 추론 전용 칩의 중요성이 커졌습니다. 양자화, KV 캐시 압축, LPU·TPU 활용으로 비용과 지연 시간을 함께 줄이는 방향을 정리했습니다.

#LLM#양자화
1600
[kt cloud] kt cloud PLATFORM, 공공 클라우드를 위한 차세대 운영 기반
KT 클라우드
아키텍처

[kt cloud] kt cloud PLATFORM, 공공 클라우드를 위한 차세대 운영 기반

공공 클라우드를 위한 kt cloud PLATFORM의 운영 구조와 주요 장점을 소개했습니다. 멀티 리전, 보안 체계, AI 인프라 확장성을 통해 안정성과 확장성을 함께 강조했습니다.

#OpenStack#Kubernetes
800
[트렌드분석] Floating Data Center(FDC) 완전 분석: 해양 데이터센터의 기술 구조와 인프라 가능성
KT 클라우드
백엔드

[트렌드분석] Floating Data Center(FDC) 완전 분석: 해양 데이터센터의 기술 구조와 인프라 가능성

육상 데이터센터의 전력·부지·냉각 한계를 우회하는 FDC의 구조와 사례를 정리했습니다. 해수 냉각과 해상풍력 연계로 AI 인프라 대안으로 부상하는 흐름을 설명했습니다.

#데이터센터#AI 인프라
4100