LLM Knowledge Distillation 훑어보기 - part 2
지식 증류가 student 성능 개선뿐 아니라 LLM 추론 속도 향상에도 활용된다는 점을 정리했습니다. speculative decoding과 SKD 같은 최신 방법으로 성능과 효율을 함께 높이는 흐름을 설명했습니다.
#LLM#knowledge distillation#speculative decoding
4600
태그
Transformers 기술 블로그 글
Transformers 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 4개최신 4개 표시
관련 태그
최신 게시글
4개 표시
허깅페이스 트랜스포머 라이브러리 사용방법
허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.
#Python#LLM#transformers
3000
허깅 페이스 Trainer API 이용하기
허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.
#Hugging Face#Trainer API#transformers
1900
오픈챗 해시태그 예측을 위한 다중 레이블 분류 모델 개발하기
오픈챗 이름과 설명을 바탕으로 해시태그를 예측하는 다중 레이블 분류 모델 개발 과정을 소개했습니다. 또한 MMR과 임계치 조정으로 실시간 추천과 오프라인 태깅의 요구를 각각 맞췄습니다.
#ML#multi-label classification#Transformers
2300
