목록 보기
허깅페이스 트랜스포머 라이브러리 사용방법
AI

허깅페이스 트랜스포머 라이브러리 사용방법

데보션
데보션
2024년 11월 20일

두줄요약

허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.

핵심 내용

  • 허깅페이스 트랜스포머의 통일된 인터페이스 개념
  • AutoModel, AutoTokenizer, pipeline 중심의 모델 사용 흐름
  • datasets와 Trainer, huggingface_hub를 통한 데이터 준비·학습·업로드·추론 과정

구조와 흐름

  • 모델 허브, 데이터셋 허브, 스페이스를 통한 자원 탐색
  • 바디/헤드 분리된 모델 로딩과 작업별 모델 선택
  • 토크나이징, 데이터셋 분할, 학습, 평가, 배포, 추론 순서

주의할 점

  • 헤드 없는 모델을 분류용 모델로 불러올 때 헤드 랜덤 초기화 가능성
  • token_type_ids, attention_mask, CLS, SEP 같은 토큰 관련 개념 이해 필요
  • train/validation/test 분할과 전처리 절차의 선행 필요

적용해볼 점

  • Auto 계열 클래스로 모델·토크나이저를 일관되게 다루기
  • Trainer와 pipeline으로 학습과 추론 파이프라인 단순화
  • 허브 업로드로 학습 모델 재사용성과 공유성 확보

다음 읽기

#Hugging Face 주제를 이어서 읽기

허깅 페이스 Trainer API 이용하기

허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.

데보션
데보션
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...