컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당
두줄요약
Fabric Manager 파티션 제약을 DRA와 SharedCounters로 표현해 GPU를 안전하게 할당했습니다. Kata VM 콜드 플러그 경로를 보완해 베어메탈 수준의 NCCL 대역폭을 확인했습니다.
문제 상황
- NVLink 연결 규칙으로 GPU 8장 서버에서 임의의 GPU 조합 할당 불가
- Kubernetes 장치 플러그인의 수량 중심 할당으로 Fabric Manager 파티션 보장 실패
해결 방법
- Fabric Manager 파티션을 DRA 디바이스로 발행하는 GPU·IB NIC 통합 자체 드라이버 구현
- SharedCounters로 물리 GPU가 겹치는 파티션 디바이스의 동시 할당 차단
- NodePrepareResources에서 파티션 활성화, VFIO 장치 탐색, 클레임별 CDI 스펙 생성
구조와 흐름
- ResourceClaimTemplate의 CEL 조건으로 GPU 수에 맞는 파티션 요청 단순화
- 스케줄러의 DRA 할당 후 kata shim이 PodResources API의 DynamicResources를 읽어 VM에 콜드 플러그
- NodeUnprepareResources에서 CDI 스펙 삭제와 파티션 비활성화
성능/운영 포인트
- Fabric Manager 파티션 목록의 주기적 재조회와 드라이버 재시작 시 실행 중 클레임 상태 복구
- Fabric Manager 재시작 시 CUDA 작업 종료 가능성에 따른 게스트 미실행 상태에서의 재시작 필요
- 2·4·8 GPU 구성 NCCL all_reduce 버스 대역폭의 베어메탈 대비 1% 이내 차이





