CUDA OOM 해결 사례 공유 - PyTorch all_gather_object 의 비밀
데이터셋 로딩 중 발생한 CUDA OOM의 원인을 `all_gather_object` 내부 동작에서 찾았습니다. 데이터를 chunk로 나눠 gather하도록 바꿔 GPU 메모리 사용량을 줄였습니다.
#CUDA#PyTorch#all_gather_object
4200
태그
CUDA 기술 블로그 글
CUDA 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 3개최신 3개 표시
관련 태그
최신 게시글
3개 표시
최대 24배 빠른 vLLM의 비밀 파헤치기
vLLM의 PagedAttention과 Continuous Batching을 코드 흐름 중심으로 분석했습니다.\nKV 캐시 블록 관리, 스케줄링, CUDA 기반 Single Query Attention을 설명합니다.
#vLLM#PagedAttention#KV 캐시
000
Ubuntu 20.04 LTS (CLI-Server)에 CUDA 11.1 GPU 가속 연산 환경 세팅 하기
Ubuntu 20.04 CLI 서버에서 CUDA 11.1 기반 GPU 가속 환경 구성을 정리했습니다. 드라이버·CUDA·cuDNN·딥러닝 프레임워크의 호환성과 검증 방법을 안내합니다.
#Ubuntu#CUDA#cuDNN
1000
