Transformer - Harder, Better, Faster, Stronger
Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.
#Transformer#NLP
100
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
새로운 기술 블로그가 추가되었어요
Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.
EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다. 공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.
EMNLP-IJCNLP 2019의 주요 키워드와 승인율 추이를 정리했습니다. 생성·BERT·외부 지식·편향 관련 관심 논문 12편을 소개합니다.