Knowledge Distillation 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
6개 표시
상품 텍스트를 Semantic ID로 압축하고 유저 행동을 Transformer로 해석해 개인화 추천 모델을 구축했습니다. 지식 증류와 데이터 엔지니어링으로 정확도와 속도를 함께 개선하고 A/B 테스트 성과를 확인했습니다.
상품 텍스트와 행동 시퀀스를 결합한 Collaborative Embedding 추천 모델을 구축했습니다.\n지식 증류로 검색 성능을 높이고 A/B·CRM 테스트의 지표 개선을 확인했습니다.
Teacher–Student 구조를 지식 증류와 멀티턴 대화 학습 관점에서 설명했습니다. BERTScore, 코사인 유사도, Classifier로 검증하는 방법도 함께 정리했습니다.
지식 증류가 student 성능 개선뿐 아니라 LLM 추론 속도 향상에도 활용된다는 점을 정리했습니다. speculative decoding과 SKD 같은 최신 방법으로 성능과 효율을 함께 높이는 흐름을 설명했습니다.
LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.
대형 BERT 기반 대화 모델을 Knowledge Distillation으로 경량화한 사례를 소개했습니다. 임베딩·로짓 증류로 약 3배 추론 속도와 높은 정확도를 확보했습니다.
