데보션 · 2025년 4월 22일

AI

CUDA OOM 해결 사례 공유 - PyTorch all_gather_object 의 비밀

데이터셋 로딩 중 발생한 CUDA OOM의 원인을 `all_gather_object` 내부 동작에서 찾았습니다. 데이터를 chunk로 나눠 gather하도록 바꿔 GPU 메모리 사용량을 줄였습니다.