[클로바시선 #58] 속도와 비용의 열쇠: 멀티모달 AI 학습을 갉아먹는 ‘이미지 토큰 불균형’ 이야기
AI
[클로바시선 #58] 속도와 비용의 열쇠: 멀티모달 AI 학습을 갉아먹는 ‘이미지 토큰 불균형’ 이야기
두줄요약
이미지 토큰 편차로 발생한 멀티모달 학습 GPU 부하 불균형을 분석했습니다. Pack 재배치와 통신 오버랩으로 품질 저하 없이 처리량을 13.3% 높였습니다.
문제 상황
- 멀티모달 사전학습 규모 확장 시 GPU 간 연산 부하 불균형으로 인한 Straggler 대기
- 이미지 토큰이 많은 Pack을 맡은 GPU 한 대가 전체 동기화와 학습 속도를 결정하는 구조
원인 분석
- LLM 연산량은 전체 토큰 수를 따르지만 비전 인코더 연산량은 이미지 토큰 수에 비례
- 토큰 길이만 고려하는 Greedy Bin-packing으로 Pack별 이미지 토큰 편차 발생
- 2D 패킹의 이미지 토큰 예산 적용 시 균형 개선 대신 패킹 효율 99%에서 66%로 하락
해결 방법
- Global Batch 내 Pack의 이미지 토큰 수를 All-gather로 공유하고 Micro-batch 단위로 GPU 간 재배치
- 균형 배치 후 원래 위치를 고려해 데이터 이동량 최소화
- 백그라운드 스레드와 CUDA 스트림으로 다음 Micro-batch 재배치를 계산과 오버랩
성능/운영 포인트
- 30B MoE VLM, B200 멀티 노드 환경에서 패킹·재배치 처리량 13.3% 향상
- 동기식 재배치의 1.7% 개선 대비 비동기 오버랩의 핵심적 기여
- 장시간 학습에서 드러난 백그라운드 스레드 미정리 메모리 누수의 스트레스 테스트 및 패치
