목록 보기
컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당
데브옵스

컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당

네이버 D2
네이버 D2
2026년 11월 18일

두줄요약

Fabric Manager 파티션 제약을 DRA와 SharedCounters로 표현해 GPU를 안전하게 할당했습니다. Kata VM 콜드 플러그 경로를 보완해 베어메탈 수준의 NCCL 대역폭을 확인했습니다.

문제 상황

  • NVLink 연결 규칙으로 GPU 8장 서버에서 임의의 GPU 조합 할당 불가
  • Kubernetes 장치 플러그인의 수량 중심 할당으로 Fabric Manager 파티션 보장 실패

해결 방법

  • Fabric Manager 파티션을 DRA 디바이스로 발행하는 GPU·IB NIC 통합 자체 드라이버 구현
  • SharedCounters로 물리 GPU가 겹치는 파티션 디바이스의 동시 할당 차단
  • NodePrepareResources에서 파티션 활성화, VFIO 장치 탐색, 클레임별 CDI 스펙 생성

구조와 흐름

  • ResourceClaimTemplate의 CEL 조건으로 GPU 수에 맞는 파티션 요청 단순화
  • 스케줄러의 DRA 할당 후 kata shim이 PodResources API의 DynamicResources를 읽어 VM에 콜드 플러그
  • NodeUnprepareResources에서 CDI 스펙 삭제와 파티션 비활성화

성능/운영 포인트

  • Fabric Manager 파티션 목록의 주기적 재조회와 드라이버 재시작 시 실행 중 클레임 상태 복구
  • Fabric Manager 재시작 시 CUDA 작업 종료 가능성에 따른 게스트 미실행 상태에서의 재시작 필요
  • 2·4·8 GPU 구성 NCCL all_reduce 버스 대역폭의 베어메탈 대비 1% 이내 차이

네이버 계열사 채용9건

채용 사이트에서 전체 보기

다음 읽기

#Kata Containers 주제를 이어서 읽기

컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능

Kata VM에 IB NIC와 로컬 NVMe를 연결해 GPU 분산 학습 경로를 최적화했습니다. DRA·NCCL 토폴로지·SPDK 적용으로 통신과 스토리지 성능을 개선했습니다.

네이버 D2
네이버 D2
데브옵스
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...