핑퐁팀 ML 세미나, 그 다섯 번째
Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다.\n지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.
#ML#Transformer
000
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
핑퐁팀과 함께하는 ACL 2020 리뷰
ACL 2020의 제출·합격률과 Generation, Dialogue 등 주요 NLP 연구 경향을 분석했습니다. 대화, 생성, BERT 최적화 관련 논문 24편의 핵심 방법과 성과를 리뷰했습니다.
#NLP#Transformer
000
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰
ELECTRA의 RTD 사전학습 구조와 MLM·GAN 대비 차이를 정리했습니다. 모든 토큰을 분류해 적은 계산량으로 높은 성능을 낸 실험 결과를 살펴봤습니다.
#ELECTRA#NLP
000
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다.\n실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.
#Transformer#Reformer
000
핑퐁팀 ML 세미나, 그 네번째
Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다.\n효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.
#ML#Transformer
000
Transformer - Harder, Better, Faster, Stronger
Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.
#Transformer#NLP
000
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다.\n공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.
#EMNLP#NLP
000
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
핑퐁팀 ML 세미나, 그 세번째
ML 세미나 시즌 3에서 대화 상태 추적, 지식 증류, 텍스트 생성 관련 논문을 공유했습니다. Transformer 기반 생성 모델의 활용 가능성과 경량화 과제를 함께 짚었습니다.
#ML#NLP
000