아키텍처
토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
두줄요약
토스증권은 쿠버네티스에서 GPU를 단순히 인식하는 수준을 넘어 운영 가능한 GPU-native 클러스터로 발전시키는 과정을 공유했습니다. GPU Ready 판정, 시범운행 검증, MIG 기반 배치 최적화로 서비스 투입과 자원 효율을 높였습니다.
문제 상황
- 쿠버네티스에서 GPU를 자원으로 인식하고 할당하는 GPU-aware 상태만으로는 운영 한계가 존재
- 노드 Ready와 GPU 정상 상태가 불일치하고, VRAM 제어·장애 판별·서비스 투입 기준·자원 배치가 별도로 필요
- GPU 한 장 단위 제공과 분산 배치 방식은 멀티테넌트 서빙 효율과 유연성을 떨어뜨림
원인 분석
- GPU 메모리와 내부 상태가 쿠버네티스의 cgroup 기반 자원 제어 경로 밖에 위치
- nvidia-smi 종료 코드만으로는 개별 GPU 오류나 Xid 같은 장애 신호를 충분히 판별하기 어려움
- 기본 Device Plugin의 분산 배치 정책은 MIG 조각을 여러 물리 GPU에 나눠 남김
해결 방법
- 드라이버, Container Toolkit, Device Plugin, CUDA를 모두 확인하는 GPU Ready 기준을 별도로 정의
- DCGM Exporter와 Xid 알럿으로 GPU 내부 상태와 장애 신호를 관측 체계에 연결
- 시범운행(preflight)으로 신규 GPU 노드의 표준 스펙, 스택, CUDA·서빙 동작을 검증
- MIG Manager와 Packed Allocation을 도입해 서비스에 맞는 단위 제공과 배치 효율을 개선
