AI
핑퐁팀 ML 세미나, 그 세번째
두줄요약
ML 세미나 시즌 3에서 대화 상태 추적, 지식 증류, 텍스트 생성 관련 논문을 공유했습니다. Transformer 기반 생성 모델의 활용 가능성과 경량화 과제를 함께 짚었습니다.
핵심 내용
- 자유 주제 방식으로 진행한 ML 리서치 시즌 3 세미나 발표자료 모음
- 대화 상태 추적, 지식 증류, 텍스트 스타일 변환, 근거 기반 응답 생성, 잠재 공간 기반 응답 생성 논문 소개
- Generation 관련 논문 비중과 사내 Generation PoC 맥락
구조와 흐름
- 슬롯 제한 없는 Dialogue State Tracking 연구 소개
- Transformer·BERT 경량화를 위한 지식 증류 연구 동향 정리
- Delete-Retrieve-Generate, 계층형 포인터 네트워크, stylized response generation 접근 소개
주의할 점
- Transformer 구조의 데이터 규모 민감성
- 실사용 애플리케이션 적용에 부담이 되는 모델 경량화 과제