컨테이너처럼 쓰고, VM처럼 격리하기 2편 - GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성
두줄요약
Kata Containers VM에 GPU를 연결하는 IOMMU·VFIO·CDI 계층과 PCIe 격리 방식을 설명했습니다. THP와 1GiB hugepage로 GPU 8장 VM의 부팅 지연을 줄인 사례를 다뤘습니다.
구조와 흐름
- Kata Containers의 Pod 단위 VM에 GPU를 연결하는 IOMMU·VFIO·CDI 계층
- IOMMU의 DMA 주소 변환·메모리 접근 차단, VFIO의 PCIe 장치 제어권 이전, CDI의 컨테이너 장치 스펙 반영
- QEMU의 VFIO 장치 연결과 게스트 NUMA 루트 포트 배치
선택 이유
- PCIe 스위치 내부 peer-to-peer 통신 우회를 막기 위한 IOMMU 그룹 단위 격리
- GPU별 독립 할당을 위한 ACS 활성화와 vfio-pci 바인딩
- 런타임별 훅 구현 차이를 줄이는 CDI 공통 형식
성능/운영 포인트
- GPU 256GiB BAR 매핑의 대량 페이지 폴트를 줄이기 위한 THP 적용
- GPU 8장 VM의 2,688GiB 게스트 메모리 사전 할당을 위한 1GiB hugepage 예약
- THP와 hugepage 적용 후 GPU 8장 Pod Ready 시간 141~151초
주의할 점
- ACS 활성화 시 동일 스위치 GPU·NIC 간 트래픽이 루트 컴플렉스를 경유하는 성능 비용
- THP always와 대용량 페이지 예약이 일반 워크로드에 미치는 영향으로 GPU VM 전용 노드 필요
- 업스트림 Kata VM 크기 계산에서 hugepages 요청량이 제외되어 요청 메모리보다 작은 VM 생성 가능성




