컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
두줄요약
Kata VM에 IB NIC와 로컬 NVMe를 연결해 GPU 분산 학습 경로를 최적화했습니다. DRA·NCCL 토폴로지·SPDK 적용으로 통신과 스토리지 성능을 개선했습니다.
문제 상황
- GPU VM의 분산 학습에서 IB NIC·로컬 NVMe 공유와 GPU-NIC 근접성 확보 필요
- 가상 PCIe 토폴로지로 인한 NCCL의 잘못된 NIC 선택과 ACS 경유 GDR 경로
- 기존 virtio 기반 스토리지 경로의 호스트 계층 오버헤드와 NVMe 독점 제약
해결 방법
- 컴퓨트 NIC PF 패스스루와 스토리지 NIC SR-IOV VF 분할·DRA 할당
- GPU-NIC 레일셋, NCCL 토폴로지 파일, ResourceClaim 제약을 통한 동일 파티션·근접 NIC 보장
- SPDK lvstore 논리 볼륨과 vhost-user-blk 기반 다중 VM용 NVMe 경로 추가
구조와 흐름
- DRA 드라이버의 PCIe sysfs 기반 GPU-NIC 레일 탐색과 railset 디바이스 발행
- CDI·virtio-fs를 통한 NCCL_TOPO_FILE 전달과 VM 부팅 전 게스트 PCI 주소 계산
- SPDK 리액터의 virtqueue 폴링, NVMe 직접 제어, CSI 드라이버의 PVC-논리 볼륨 연결
성능/운영 포인트
- NCCL 토폴로지 적용 후 all_reduce 버스 대역폭 158GB/s에서 최대 712.4GB/s
- 컴퓨트 NIC 2개 대비 8개 연결 시 DDP 처리량 424.6ktok/s에서 565.5ktok/s
- ATS와 ACS DT 비트 적용 후 GPU 메모리 쓰기 링크 대역폭 32.0GB/s에서 43.9GB/s
- SPDK 프로세스의 모든 게스트 메모리 매핑에 따른 호스트 커널 수준 신뢰 경계 관리



