국내 IT 기업 기술 블로그 최신 글

필터 1
핑퐁팀 ML 세미나, 그 여섯 번째
스캐터랩 핑퐁
AI

핑퐁팀 ML 세미나, 그 여섯 번째

핑퐁팀의 2020년 여름 머신러닝 세미나 발표자료를 모아 공유했습니다. NLP 표현·평가와 검색, 편향, 대조 학습 관련 연구를 다뤘습니다.

#ML#NLP
000
GPT-3의 다섯 가지 한계
스캐터랩 핑퐁
AI

GPT-3의 다섯 가지 한계

GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.

#GPT-3#LLM
000
핑퐁팀 ML 세미나, 그 다섯 번째
스캐터랩 핑퐁
AI

핑퐁팀 ML 세미나, 그 다섯 번째

Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다. 지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.

#ML#Transformer
100
핑퐁팀과 함께하는 ACL 2020 리뷰
스캐터랩 핑퐁
AI

핑퐁팀과 함께하는 ACL 2020 리뷰

ACL 2020의 제출·합격률과 Generation, Dialogue 등 주요 NLP 연구 경향을 분석했습니다. 대화, 생성, BERT 최적화 관련 논문 24편의 핵심 방법과 성과를 리뷰했습니다.

#NLP#Transformer
000
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰
스캐터랩 핑퐁
AI

꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰

ELECTRA의 RTD 사전학습 구조와 MLM·GAN 대비 차이를 정리했습니다. 모든 토큰을 분류해 적은 계산량으로 높은 성능을 낸 실험 결과를 살펴봤습니다.

#ELECTRA#NLP
400
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
스캐터랩 핑퐁
AI

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다. 실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.

#Transformer#Reformer
100
핑퐁팀 ML 세미나, 그 네번째
스캐터랩 핑퐁
AI

핑퐁팀 ML 세미나, 그 네번째

Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다. 효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.

#ML#Transformer
300
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
Transformer - Harder, Better, Faster, Stronger
스캐터랩 핑퐁
AI

Transformer - Harder, Better, Faster, Stronger

Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.

#Transformer#NLP
200
EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점
스캐터랩 핑퐁
AI

EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점

EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다. 공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.

#EMNLP#NLP
300
핑퐁팀 ML 세미나, 그 세번째
스캐터랩 핑퐁
AI

핑퐁팀 ML 세미나, 그 세번째

ML 세미나 시즌 3에서 대화 상태 추적, 지식 증류, 텍스트 생성 관련 논문을 공유했습니다. Transformer 기반 생성 모델의 활용 가능성과 경량화 과제를 함께 짚었습니다.

#ML#NLP
300