허깅페이스 트랜스포머 라이브러리 사용방법
허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.
#Python#LLM
30005분
필터 1
허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.
허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.