Transformer - Harder, Better, Faster, Stronger
Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.
#Transformer#NLP#BERT
100
모든 블로그
대표 인기 포스트전문가의 절반을 내보냈습니다33 조회33 조회 AI AI
AI
AI
AI
AI
AI
스캐터랩 핑퐁
주요 카테고리 AI · DevOps
활동 요약
- 최근 30일
- 2개
- 평균 조회
- 2
- 누적 조회
- 185
- 전체 글
- 79개
- 마지막 발행
- 2026. 10. 30.
스캐터랩 핑퐁 기술 블로그 글 (79)
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다. 공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.
#EMNLP#NLP#Transformer
200
EMNLP-IJCNLP 2019 프리뷰
EMNLP-IJCNLP 2019의 주요 키워드와 승인율 추이를 정리했습니다. 생성·BERT·외부 지식·편향 관련 관심 논문 12편을 소개합니다.
#NLP#EMNLP#BERT
000
핑퐁팀 ML 세미나, 그 세번째
ML 세미나 시즌 3에서 대화 상태 추적, 지식 증류, 텍스트 생성 관련 논문을 공유했습니다. Transformer 기반 생성 모델의 활용 가능성과 경량화 과제를 함께 짚었습니다.
#ML#NLP#Transformer
300
핑퐁팀 ML 세미나, 그 두 번째
핑퐁팀이 Question Answering을 주제로 진행한 ML 세미나 발표 자료를 모았습니다. Attention 설계와 외부 지식 통합을 통한 챗봇 응답 고도화 방향을 다룹니다.
#ML#NLP#질의응답
200
꼼꼼하고 이해하기 쉬운 XLNet 논문 리뷰
XLNet의 순열 언어 모델링과 two-stream attention으로 AR·AE의 한계를 보완한 방식을 리뷰했습니다. Transformer-XL 기반 긴 문맥 처리와 주요 NLP 과제의 성능 실험도 분석했습니다.
#XLNet#NLP#Transformer-XL
200
핑퐁팀 ML 세미나, 그 시작
대화 시스템을 주제로 진행한 ML 리서치 팀의 첫 세미나 발표자료를 모았습니다. 소셜 챗봇, 개인화, 지식 기반 대화, 멀티턴 응답 선택과 생성 모델을 다뤘습니다.
#ML#NLP#대화 시스템
200