분산 학습을 위한 AWS 컴퓨트 선택 가이드 (3편: 클러스터 구축과 운영)
분산 학습용 AWS 클러스터를 구축·운영하는 방법을 정리했습니다. Enroot와 Pyxis로 환경을 고정하고, EFA·용량 예약·장애 복구를 함께 점검해야 합니다.
#AWS#컨테이너
1100
필터 1
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – AWS 환경에서 NCCL을 이용한 GPU 간 통신
AWS EFA 환경에서 NCCL이 GPU 간 집합 통신을 어떻게 최적화하는지 소개했습니다. 기본 설정과 플러그인 구조, 알고리즘 선택 원리까지 함께 정리했습니다.
#AWS#NCCL
4500
분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 – AWS의 인터커넥트 기반 기술, ENI 소개
AWS EC2의 ENI와 네트워크 카드 구조, EFA 할당 규칙을 설명했습니다. p5와 p6 인스턴스의 분산 트레이닝용 네트워크 구성과 운영 포인트를 정리했습니다.
#AWS#EFA
4700