토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
토스증권은 쿠버네티스에서 GPU를 단순히 인식하는 수준을 넘어 운영 가능한 GPU-native 클러스터로 발전시키는 과정을 공유했습니다. GPU Ready 판정, 시범운행 검증, MIG 기반 배치 최적화로 서비스 투입과 자원 효율을 높였습니다.
#Kubernetes#GPU#container
2900

MIG 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
3개 표시
토스증권은 쿠버네티스에서 GPU를 단순히 인식하는 수준을 넘어 운영 가능한 GPU-native 클러스터로 발전시키는 과정을 공유했습니다. GPU Ready 판정, 시범운행 검증, MIG 기반 배치 최적화로 서비스 투입과 자원 효율을 높였습니다.

카카오페이는 반복 수작업을 줄이기 위해 Kubeflow 기반 AI 플랫폼을 구축했습니다.\nH200 GPU, 하이브리드 클러스터, MIG로 성능과 자원 효율을 함께 다듬었습니다.
토스증권이 H100 GPU의 자원 낭비를 줄이기 위해 MIG 기반 GPU 가상화를 도입한 과정을 정리했습니다. Kubernetes 연동과 모니터링 설정까지 포함해 운영 관점의 적용 방법을 설명했습니다.