AI
핑퐁팀 ML 세미나, 그 다섯 번째
두줄요약
Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다.\n지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.
핵심 내용
- 2020년 4~5월 매주 진행한 핑퐁팀 시즌 5 머신러닝 세미나 발표자료 모음
- Transformer 활용과 대형 모델의 성능 유지형 경량화를 중심으로 한 논문 공유
- 자연어 추론·이해·생성, 수치 추론, 이미지 분포 외 탐지, 신경망 추론 능력 주제
구조와 흐름
- BERT 지식 증류, 8비트 양자화, 멀티헤드 어텐션 프루닝을 통한 모델 압축 접근
- Self-Attention 재고찰, byte-level BPE 기반 기계번역, text-to-text 전이학습 소개
- 발표별 Speaker Deck 자료 링크 제공
적용해볼 점
- Transformer 모델 경량화 시 지식 증류·양자화·프루닝 관련 연구 검토
- NLP 모델의 수치 추론 및 자연어 이해·생성 능력 평가 관점 참고
