태그

분산 학습 기술 블로그 글

분산 학습 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 4개최신 4개 표시

[클로바시선 #58] 속도와 비용의 열쇠: 멀티모달 AI 학습을 갉아먹는 ‘이미지 토큰 불균형’ 이야기

이미지 토큰 편차로 발생한 멀티모달 학습 GPU 부하 불균형을 분석했습니다. Pack 재배치와 통신 오버랩으로 품질 저하 없이 처리량을 13.3% 높였습니다.

2026년 7월 21일

분산 학습용 AWS 컴퓨트 선택을 모델 규모와 통신 패턴 기준으로 정리했습니다. GPU 성능보다 인터커넥트, 메모리, 운영 방식이 병목을 좌우한다고 설명했습니다.

2026년 5월 12일

AWS EFA 환경에서 NCCL이 GPU 간 집합 통신을 어떻게 최적화하는지 소개했습니다. 기본 설정과 플러그인 구조, 알고리즘 선택 원리까지 함께 정리했습니다.

2026년 4월 10일

슈퍼브에이아이가 SageMaker HyperPod로 ZERO 모델의 대규모 분산 학습 효율을 높인 사례를 소개했습니다. 저가 리허설과 데이터 사전 로드로 비용과 학습 지연을 줄였습니다.