이 게시물은 분산 트레이닝 관점에서 AWS의 GPU 간 고속 통신 기술과 MoE 통신 최적화를 정리한 글입니다.

핵심 요약

• GPUDirect RDMA로 데이터 경로에서 CPU 우회, EFA와 결합하면 OS 스택 우회까지 가능
• GPUDirect Async(IBGDA)는 제어 경로의 CPU 개입 제거로 소규모 메시지 성능 대폭 향상
• NVSHMEM은 PGAS 기반 One-sided 통신으로 MoE의 불균등 All-to-All에 유리
• DeepEP는 IBGDA에 최적화되어 EFA에서 성능 저하 발생, PPLX-kernels는 EFA 특화 최적화로 보완
• GDRCopy로 CPU-GPU 동기화 병목을 줄여 EFA 환경에서 MoE 성능 개선
• 네트워크 설계 사상에 맞는 도구 선택이 하드웨어 스펙보다 중요