AI
AI 인프라 설계의 기술적 레퍼런스, 를 소개합니다
두줄요약
NHN FactoryX 기술 백서의 AI 인프라·플랫폼 설계 근거를 소개했습니다. 수랭식 냉각, Kubernetes 기반 GPU 동적 할당, GPUaaS 격리 구조를 다뤘습니다.
구조와 흐름
- 수랭식 데이터 센터·GPU 클러스터, GPU Live·AI EasyMaker 플랫폼, ProjectX 서비스의 3계층 풀스택 구성
- 인프라·플랫폼 영역의 냉각, 자원 할당, GPUaaS 설계 근거를 기술 백서로 정리
문제 상황
- 대규모 GPU 통신의 네트워크 병목과 학습 데이터 I/O 지연으로 인한 유휴 연산 자원
- 최신 GPU 랙의 고전력 밀도와 공랭식 냉각 한계
- 팀별 고정 GPU 배정의 낮은 활용률과 공유 환경의 격리·운영 문제
선택 이유
- D2C 수랭식과 프리쿨링 연계로 고밀도 랙 냉각 및 냉각 에너지 절감 목표
- Kubernetes 표준 컴포넌트 기반으로 드라이버·분산 학습 프레임워크 변화와 이종 가속기 확장성 확보
- GPUaaS 계층으로 멀티테넌시, 보안 격리, 일관된 자원·운영 정책 제공
성능/운영 포인트
- 3계층 멀티테넌시, Best-fit 빈패킹, 쿼터·오버부킹·자동 회수로 GPU 활용률 관리
- 학습용 Gang Scheduling과 추론용 인스턴스 단위 장애 복구·재배치의 워크로드별 운영 분리
- 255노드 HPL 벤치마크에서 GPUaaS 환경의 베어메탈 동등 성능 확인
