Velopers
모든 태그
태그

Knowledge Distillation 기술 블로그 글

Knowledge Distillation 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 4개최신 4개 표시
홈에서 필터

관련 태그

#LLM995#speculative decoding4#ML283#NLP67#Transformer33#추천 시스템24#CRM9#Transformers4#gpt-4o-mini3#BERTScore1#classifier1#KL divergence1

최신 게시글

4개 표시

AI

개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)

상품 텍스트를 Semantic ID로 압축하고 유저 행동을 Transformer로 해석해 개인화 추천 모델을 구축했습니다. 지식 증류와 데이터 엔지니어링으로 정확도와 속도를 함께 개선하고 A/B 테스트 성과를 확인했습니다.

#추천 시스템#Transformer#Knowledge Distillation
9600

AI

AI 선생님과 제자의 대화: Teacher–Student 구조와 BERTScore, Classifier 활용법

Teacher–Student 구조를 지식 증류와 멀티턴 대화 학습 관점에서 설명했습니다. BERTScore, 코사인 유사도, Classifier로 검증하는 방법도 함께 정리했습니다.

#LLM#Knowledge Distillation#BERTScore
5600

AI

LLM Knowledge Distillation 훑어보기 - part 2

지식 증류가 student 성능 개선뿐 아니라 LLM 추론 속도 향상에도 활용된다는 점을 정리했습니다. speculative decoding과 SKD 같은 최신 방법으로 성능과 효율을 함께 높이는 흐름을 설명했습니다.

#LLM#knowledge distillation#speculative decoding
4600

AI

LLM Knowledge Distillation 훑어보기 - part 1

LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.

#LLM#Knowledge Distillation#gpt-4o-mini
7700