AI
허깅페이스 트랜스포머 라이브러리 사용방법
두줄요약
허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.
핵심 내용
- 허깅페이스 트랜스포머의 통일된 인터페이스 개념
- AutoModel, AutoTokenizer, pipeline 중심의 모델 사용 흐름
- datasets와 Trainer, huggingface_hub를 통한 데이터 준비·학습·업로드·추론 과정
구조와 흐름
- 모델 허브, 데이터셋 허브, 스페이스를 통한 자원 탐색
- 바디/헤드 분리된 모델 로딩과 작업별 모델 선택
- 토크나이징, 데이터셋 분할, 학습, 평가, 배포, 추론 순서
주의할 점
- 헤드 없는 모델을 분류용 모델로 불러올 때 헤드 랜덤 초기화 가능성
- token_type_ids, attention_mask, CLS, SEP 같은 토큰 관련 개념 이해 필요
- train/validation/test 분할과 전처리 절차의 선행 필요
적용해볼 점
- Auto 계열 클래스로 모델·토크나이저를 일관되게 다루기
- Trainer와 pipeline으로 학습과 추론 파이프라인 단순화
- 허브 업로드로 학습 모델 재사용성과 공유성 확보