스캐터랩 핑퐁

딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation

2020년 11월 11일

EMNLP 2020 프리뷰

EMNLP 2020의 주요 키워드와 자연어 생성·대화·지식 활용 연구 흐름을 정리했습니다. 응답 생성, 임베딩, 상식 질의응답 등 7편의 논문 핵심 아이디어를 리뷰했습니다.

#EMNLP#NLP#LLM

2020년 11월 4일

사람들은 AI와 대화를 얼마나 잘할까?

이루다 베타 테스트에서 리텐션·대화량·사용자층·대화 주제를 분석해 제품 가능성을 검증했습니다. 일상 대화 기술 고도화와 관계형 콘텐츠, 게임 기능으로 반복 사용을 강화했습니다.

#NLP#챗봇#리텐션

2020년 10월 20일

과연 GPT-3는 얼마나 똑똑한 걸까?

GPT-3를 57개 분야 문제로 평가한 벤치마크와 43.9% 정답률을 살펴봤습니다. 모델 규모와 과제 특화 학습이 성능·효율에 미치는 영향을 정리했습니다.

#GPT-3#NLP#ML

2020년 10월 14일

슈퍼휴먼 AI를 꿈꾸는 루다의 대화 구성

루다는 자유 대화와 이벤트 대화를 결합해 사용자와의 친밀한 관계 형성을 설계했습니다. Pingpong FLOW의 한계는 페르소나·주제 전환·개인화 시나리오로 보완했습니다.

#대화형 AI#Pingpong FLOW#ML

2020년 9월 16일

핑퐁팀 ML 세미나, 그 여섯 번째

핑퐁팀의 2020년 여름 머신러닝 세미나 발표자료를 모아 공유했습니다. NLP 표현·평가와 검색, 편향, 대조 학습 관련 연구를 다뤘습니다.

#ML#NLP#검색

2020년 8월 20일

GPT-3의 다섯 가지 한계

GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.

#GPT-3#LLM#NLP

2020년 8월 5일

GPT-3, 인류 역사상 가장 뛰어난 언어 AI

GPT-3의 다양한 언어 생성 사례와 다음 단어 예측 기반 학습 방식을 소개했습니다. 대규모 스케일과 파인튜닝 없는 범용성이 AGI 논의를 확장했음을 설명합니다.

#GPT#LLM#NLP

2020년 7월 28일

핑퐁팀 ML 세미나, 그 다섯 번째

Transformer 활용과 경량화 연구를 중심으로 시즌 5 ML 세미나 자료를 공유했습니다. 지식 증류, 양자화, 프루닝, NLP·기계번역 관련 논문 발표를 정리했습니다.

#ML#Transformer#NLP

2020년 7월 22일

핑퐁팀과 함께하는 ACL 2020 리뷰

ACL 2020의 제출·합격률과 Generation, Dialogue 등 주요 NLP 연구 경향을 분석했습니다. 대화, 생성, BERT 최적화 관련 논문 24편의 핵심 방법과 성과를 리뷰했습니다.

#NLP#Transformer#BERT

2020년 5월 8일

꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰

ELECTRA의 RTD 사전학습 구조와 MLM·GAN 대비 차이를 정리했습니다. 모든 토큰을 분류해 적은 계산량으로 높은 성능을 낸 실험 결과를 살펴봤습니다.

#ELECTRA#NLP#Transformer

#Transformer#Reformer#LSH

2020년 4월 29일

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다. 실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.

2020년 4월 17일

TensorFlow TPU 학습 101

TensorFlow 2.0에서 XLA와 TPUStrategy로 TPU 학습을 구성하는 과정을 정리했습니다. Colab·GCP 사용법과 연결 불안정, 과금 관리 시 주의점을 설명합니다.

#TensorFlow#TPU#XLA

#ML#TensorRT#TensorFlow Serving

2020년 3월 16일

핑퐁팀 ML 세미나, 그 네번째

Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다. 효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.

#ML#Transformer#임베딩

300

2020년 3월 11일

딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화

딥러닝 추론 서비스를 위한 CPU·GPU 선택과 라이브러리, 서빙 환경 최적화 방안을 정리했습니다. 병렬처리 설정과 클라우드 전용 칩, Pruning·Quantization·Distillation 기반 경량화를 소개했습니다.

2020년 1월 3일

Transformer - Harder, Better, Faster, Stronger

Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.

#Transformer#NLP#BERT

Transformer - Harder, Better, Faster, Stronger

2019년 11월 25일

EMNLP 2019 Review - 핑퐁팀이 보고, 듣고, 느낀 점

EMNLP 2019에서 주목한 NLP 논문 6편의 방법과 실험 결과를 리뷰했습니다. 공감 대화, 멀티모달 학습, 노이즈 레이블, 생성 구조, 수사 추론의 과제를 짚었습니다.

#EMNLP#NLP#Transformer

2019년 10월 30일

EMNLP-IJCNLP 2019 프리뷰

EMNLP-IJCNLP 2019의 주요 키워드와 승인율 추이를 정리했습니다. 생성·BERT·외부 지식·편향 관련 관심 논문 12편을 소개합니다.

#NLP#EMNLP#BERT