AI
LD-Pruner: Task-Agnostic 인사이트를 활용한 Latent Diffusion Models (LDMs)의 효율적인 가지치기
두줄요약
LD-Pruner는 잠재 표현 변화로 LDM Unet 연산자의 중요도를 평가해 가지치기합니다. 다양한 생성 작업에서 성능 저하를 줄이며 추론 속도와 메모리 효율을 개선했습니다.
문제 상황
- 높은 메모리 사용량과 느린 추론 속도로 인한 자원 제약 장치 배포의 어려움
- 대형 LDM 가지치기에서 성능 저하와 재훈련 비용 발생
구조와 흐름
- Unet의 연산자를 제거하거나 원래 차원을 유지하는 저비용 연산으로 대체
- 원본·수정 Unet의 잠재 표현을 생성하고 연산자별 변화 기록
- 잠재 벡터 평균과 표준편차의 유클리드 거리 합산으로 중요성 점수 산정
선택 이유
- 잠재 공간 비교 기반의 빠르고 작업 독립적인 성능 영향 평가
- 낮은 중요성 점수의 연산자를 가지치기·대체 후보로 식별
- 가중치 보존을 통한 압축 모델 성능 유지
성능/운영 포인트
- 텍스트-이미지 생성에서 원본과 유사한 성능 및 34.89% 속도 향상
- 비조건부 이미지·오디오 생성에서도 압축과 성능 유지 효과 확인
- 감소한 메모리 소모와 추론 시간으로 온디바이스 배포 적합성 향상