목록 보기
컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능
데브옵스

컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능

네이버 D2
네이버 D2
2026년 11월 18일

두줄요약

Kata VM에 IB NIC와 로컬 NVMe를 연결해 GPU 분산 학습 경로를 최적화했습니다. DRA·NCCL 토폴로지·SPDK 적용으로 통신과 스토리지 성능을 개선했습니다.

문제 상황

  • GPU VM의 분산 학습에서 IB NIC·로컬 NVMe 공유와 GPU-NIC 근접성 확보 필요
  • 가상 PCIe 토폴로지로 인한 NCCL의 잘못된 NIC 선택과 ACS 경유 GDR 경로
  • 기존 virtio 기반 스토리지 경로의 호스트 계층 오버헤드와 NVMe 독점 제약

해결 방법

  • 컴퓨트 NIC PF 패스스루와 스토리지 NIC SR-IOV VF 분할·DRA 할당
  • GPU-NIC 레일셋, NCCL 토폴로지 파일, ResourceClaim 제약을 통한 동일 파티션·근접 NIC 보장
  • SPDK lvstore 논리 볼륨과 vhost-user-blk 기반 다중 VM용 NVMe 경로 추가

구조와 흐름

  • DRA 드라이버의 PCIe sysfs 기반 GPU-NIC 레일 탐색과 railset 디바이스 발행
  • CDI·virtio-fs를 통한 NCCL_TOPO_FILE 전달과 VM 부팅 전 게스트 PCI 주소 계산
  • SPDK 리액터의 virtqueue 폴링, NVMe 직접 제어, CSI 드라이버의 PVC-논리 볼륨 연결

성능/운영 포인트

  • NCCL 토폴로지 적용 후 all_reduce 버스 대역폭 158GB/s에서 최대 712.4GB/s
  • 컴퓨트 NIC 2개 대비 8개 연결 시 DDP 처리량 424.6ktok/s에서 565.5ktok/s
  • ATS와 ACS DT 비트 적용 후 GPU 메모리 쓰기 링크 대역폭 32.0GB/s에서 43.9GB/s
  • SPDK 프로세스의 모든 게스트 메모리 매핑에 따른 호스트 커널 수준 신뢰 경계 관리

네이버 계열사 채용9건

채용 사이트에서 전체 보기

다음 읽기

#Kata Containers 주제를 이어서 읽기

컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당

Fabric Manager 파티션 제약을 DRA와 SharedCounters로 표현해 GPU를 안전하게 할당했습니다. Kata VM 콜드 플러그 경로를 보완해 베어메탈 수준의 NCCL 대역폭을 확인했습니다.

네이버 D2
네이버 D2
데브옵스
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...