딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation
대형 BERT 기반 대화 모델을 Knowledge Distillation으로 경량화한 사례를 소개했습니다. 임베딩·로짓 증류로 약 3배 추론 속도와 높은 정확도를 확보했습니다.
#Knowledge Distillation#BERT
000
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
새로운 기술 블로그가 추가되었어요
대형 BERT 기반 대화 모델을 Knowledge Distillation으로 경량화한 사례를 소개했습니다. 임베딩·로짓 증류로 약 3배 추론 속도와 높은 정확도를 확보했습니다.
Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다.\n효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.