AI
허깅 페이스 Trainer API 이용하기
두줄요약
허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.
핵심 내용
- 허깅페이스의 transformers, datasets, hub를 활용해 한국어 텍스트 분류를 수행하는 흐름 소개
- KLUE/ynat 데이터셋을 불러와 전처리, 라벨 문자열화, 학습/검증/테스트 분할 진행
- KLUE/roberta-base로 시퀀스 분류 모델을 학습하고, Trainer API로 평가와 허브 업로드 수행
- pipeline 및 커스텀 추론 코드로 학습된 모델의 예측 결과 확인