AI
EdgeFusion: 온디바이스 텍스트 기반 이미지 생성
두줄요약
EdgeFusion은 고품질 합성 데이터와 LCM 맞춤 증류로 컴팩트 확산 모델의 생성 품질을 높였습니다. 모델 분할과 W8A16 양자화로 엑시노스 NPU에서 2단계, 1초 이내 생성을 달성했습니다.
문제 상황
- Stable Diffusion의 높은 연산량과 메모리 요구량으로 온디바이스 배포 난항
- 일반 웹 크롤링 데이터와 컴팩트 BK-SDM에 LCM을 직접 적용한 경우의 품질 한계
해결 방법
- Realistic Vision V5.1 교사 모델 기반의 BK-SDM-Adv-Tiny 초기화 및 LCM 맞춤 지식 증류
- 데이터 전처리, Sphinx 합성 캡션, GPT-4·SDXL 기반 합성 이미지-텍스트 쌍, 수동 선별을 통한 학습 데이터 품질 강화
- U-Net W8A16 혼합 정밀 양자화와 나머지 모듈 FP16 적용
구조와 흐름
- 고품질 교사 모델로 컴팩트 학생 모델 미세 조정 후 대형 교사 모델 기반 LCM 증류
- 모델 수준 분할로 NPU 메모리 제약 대응 및 DRAM 접근량 축소
- 커널 퓨전과 그래프 최적화를 결합한 삼성 엑시노스 NPU 실행
성능/운영 포인트
- 두 번의 디노이징 단계로 삼성 엑시노스 NPU에서 1초 이내 이미지 생성
- 모델 수준 분할 적용 시 크로스 어텐션 블록 지연 시간 약 73% 개선
- W8A16 양자화 후 FP32 대비 생성 품질 저하 미관측
