

GPUaaS란? 서비스형 GPU의 개념·구조·과금 방식 정리
GPUaaS의 IaaS 기반 책임 범위와 인스턴스·베어메탈 중심 구성 요소를 정리했습니다. 과금 방식과 GPU 메모리·클러스터 네트워크·보안 책임의 도입 기준을 설명합니다.
#GPUaaS#IaaS
2200


GPUaaS의 IaaS 기반 책임 범위와 인스턴스·베어메탈 중심 구성 요소를 정리했습니다. 과금 방식과 GPU 메모리·클러스터 네트워크·보안 책임의 도입 기준을 설명합니다.


데이터셋 로딩 중 발생한 CUDA OOM의 원인을 `all_gather_object` 내부 동작에서 찾았습니다. 데이터를 chunk로 나눠 gather하도록 바꿔 GPU 메모리 사용량을 줄였습니다.

vLLM의 PagedAttention과 Continuous Batching을 코드 흐름 중심으로 분석했습니다. KV 캐시 블록 관리, 스케줄링, CUDA 기반 Single Query Attention을 설명합니다.


Ubuntu 20.04 CLI 서버에서 CUDA 11.1 기반 GPU 가속 환경 구성을 정리했습니다. 드라이버·CUDA·cuDNN·딥러닝 프레임워크의 호환성과 검증 방법을 안내합니다.