AI 플랫폼 GPU 도입부터 Kubeflow까지 도입기

이 게시물은 카카오페이가 반복적인 수작업과 비효율 문제를 해결하기 위해 Kubeflow 기반 AI 플랫폼을 구축한 과정을 설명합니다.

핵심 가치와 선택 이유

• 표준화, 확장성, 통합을 목표로 Kubeflow 선택
• 쿠버네티스 기반으로 운영 일관성 확보
• 컨테이너와 파이프라인으로 환경과 작업 순서 표준화

기술적 도전과 해결책

• 고성능 GPU(H200, MIG) 도입과 RDMA, Infiniband 네트워크 통합
• 하이브리드 클러스터 아키텍처 구축
• GPU 자원 최적화 위한 MIG 적용 및 자원 할당 정책 수립
• KServe와 Knative 활용해 비용과 성능 균형 맞춤

운영 및 모니터링

• GPU 자원 사용량과 유휴 자원 모니터링으로 최적화 지속
• 서비스 안정성과 비용 절감 간 현실적 트레이드오프 적용

금융 환경 제약 속에서 최적의 AI 플랫폼 구축 여정을 상세히 공유합니다.