AI
EMNLP24 늦은 후기 2탄: CC 데이터로 LLM 사전학습 데이터셋을 만들어본 경험 및 NVIDIA 논문 리뷰
두줄요약
웹 크롤링 데이터로 LLM 사전학습 데이터셋을 만든 경험과 어려움을 정리했습니다. NVIDIA EMNLP 2024 논문을 통해 품질 필터링과 중복 제거 전략을 체계적으로 살펴봤습니다.
핵심 내용
- Common Crawl 기반 웹 크롤링 데이터로 LLM 사전학습 데이터셋을 구축한 경험 공유
- 품질 필터링, 언어 식별, 중복 제거에서 겪은 시행착오와 해결 접근 정리
- NVIDIA EMNLP 2024 논문을 통해 데이터 큐레이션, 도메인 재샘플링, 샘플링 전략을 체계적으로 비교
적용해볼 점
- 고품질 코퍼스 기반 퍼플렉서티 필터링으로 저품질 문서 제거
- 단어 목록과 언어모델 출력을 결합한 언어 식별 적용
- 해시, LSH, 도메인별 샘플링을 활용한 대규모 데이터 정제와 분포 조정