LLM Knowledge Distillation 훑어보기 - part 1
LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.
#LLM#Knowledge Distillation
77005분
새로운 기술 블로그가 추가되었어요
필터 1
새로운 기술 블로그가 추가되었어요
LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.
에이닷 뮤직 에이전트에 Multi Prompt Fine-tuning을 적용하며 겪은 시행착오와 개선 과정을 공유했습니다. gpt-4o-mini 전환으로 한글 깨짐과 품질 문제가 크게 완화된 사례였습니다.