AI
핑퐁팀 ML 세미나, 그 네번째
두줄요약
Transformer·임베딩·검색 중심의 2020년 ML 논문 여섯 편을 세미나 자료로 정리했습니다.\n효율적 Attention, 스타일 변환, 사전학습 검색, Metric Learning의 적용 한계를 함께 분석했습니다.
구조와 흐름
- Reformer의 LSH 기반 유사 토큰 Attention, 청킹 Feed-Forward, Reversible Layer를 통한 Transformer 연산·메모리 절감
- Multi-Scale Multi-Head Attention의 거리별 단어 관계 분리와 소규모 데이터셋 분류·시퀀스 레이블링 적용
- Bi-encoder 기반 대규모 검색과 코드 벡터를 활용한 Poly-encoder의 검색 정확도·추론 속도 절충
선택 이유
- 잠재 공간에서 의미와 스타일을 다루는 Text Style Transfer의 다양한 분해·비분해 접근
- 대칭 이동으로 Hard Negative를 합성하는 Deep Metric Learning 방식
- TF-IDF·BM25 대비 사전학습된 임베딩 검색 모델의 성능 향상
장단점
- Reformer의 근사 Attention에 따른 정확한 가중치 반영 한계와 범용성 제약
- Multi-Scale Attention의 작은 데이터셋 성능 장점과 Mirroring Experiment 해석의 아쉬움
- Poly-encoder의 Bi-encoder 대비 성능 향상, Cross-encoder 대비 빠른 추론 속도
적용해볼 점
- 검색 모델의 성능 확보를 위한 쿼리·문서 관계 기반 사전학습
- 한국어 겸양 표현·사투리 대상 스타일 변환을 위한 명확한 문제 정의
- 자연어 임베딩의 Saliency 특성을 고려한 Hard Negative 생성 적용 검토