모든 태그
태그

지식 증류 기술 블로그 글

지식 증류 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

최근 30일 2개 · 많이 쓴 회사 네이버 D2·노타·스캐터랩 핑퐁

전체 19개최신 19개 표시
홈에서 필터

지식 증류 글을 많이 쓴 회사

최신 게시글

19개 표시

AI

흩어진 행동을 연결하다: 네이버 전 지면의 사용자 행동을 학습하는 추천 모델 개발기

검색·피드·광고 데이터를 연결하는 버티컬 추천 모델의 개발과 적용 경험을 소개합니다. 실시간 GPU 서빙 최적화와 지식 증류 기반 도메인 간 지식 전이를 다룹니다.

#추천 시스템#GPU#지식 증류
900

AI

30B 로컬 LLM을 맥북에서 돌릴 수 있을까? 1.58비트 터너리 양자화

1.58비트 터너리 양자화로 30B LLM 가중치를 약 10GB까지 줄였습니다. 증류와 경계 마스킹으로 성능을 복원해 24GB 이상 맥북 실행 가능성을 제시합니다.

#LLM#양자화#지식 증류
2100

AI

GPU 없이 VLA 돌리기: 퀄컴 NPU에서 1.6초를 230ms로

퀄컴 NPU에서 VLA를 실시간 구동하기 위해 백본·런타임·제어 루프를 함께 최적화했습니다. GR00T N1.7을 약 230ms까지 줄이고 RTC로 로봇팔의 연속 동작을 검증했습니다.

#VLA#NPU#GR00T
100

AI

별점 뒤에 숨겨진 리뷰의 온도, LLM으로 한 끗 차이가 다른 추천 만들기

LLM으로 리뷰의 진심을 점수화해 별점만으로는 보이지 않던 맛집 변별력을 높였습니다. 지식 증류와 개인화 리랭킹을 더해 추천 품질과 전환율을 함께 개선했습니다.

#LLM#지식 증류#추천
10700

AI

메신저용 온디바이스 이미지 모델 학습기 2편: 초저지연 비자기회귀(non-autoregressive) 캡션 생성 전략

모바일 메신저용 이미지 캡션 생성을 위해 비자기회귀 디코딩과 지식 증류를 적용했습니다. 캡션 재생성과 다단계 정제로 200~400ms 지연과 실사용 가능한 품질을 달성했습니다.

#ML#지식 증류#non-autoregressive
6300

AI

메신저용 온디바이스 이미지 모델 학습기 1편: 지식 증류로 확장한 다국어 이미지 검색

네트워크 없이 모바일 기기에서 동작하는 메신저용 이미지 이해 기능을 만들고 지식 증류로 다국어 검색을 구현했습니다. 또한 LiteRT 변환과 벡터 DB 튜닝으로 온디바이스 배포와 실사용 성능을 맞췄습니다.

#지식 증류#검색#mobile
18100

AI

Amazon Bedrock으로 해보는 Nova 모델 지식 증류, 배포, 평가

Amazon Bedrock에서 Nova 모델 지식 증류와 온디맨드 배포, 평가 흐름을 실험 사례로 정리했습니다. 표준 벤치마크와 LLM as a Judge를 함께 활용해 성능과 비용 효율을 비교했습니다.

#Amazon Bedrock#지식 증류#LLM
4400

AI

지식 증류(Self-distillation)를 활용한 비디오 자기지도학습(Self-supervised Learning) 프레임워크

다음 프레임 예측과 EMA 교사를 결합한 비디오 자기지도학습 프레임워크를 제안했습니다. 광류·객체 추적 없이 ADE20K 분할과 COCO 검출 성능을 높였습니다.

#자기지도학습#지식 증류#DINO
000

AI

호텔 검색, 어떻게 달라졌을까요? 2편 - 지식 증류

호텔 검색에서 LLM을 sLLM으로 옮기기 위해 지식 증류를 적용한 과정을 다뤘습니다. 성능과 효율을 함께 확보하기 위한 모델 선정, 데이터 구성, 학습 기법 개선을 설명했습니다.

#LLM#NLP#지식 증류
8500

AI

DeepSeek-R1 기술 분석

DeepSeek-R1의 구조와 학습 방식, GRPO와 지식 증류의 특징을 OpenAI o1과 비교해 정리했습니다. 비용 절감과 추론 성능 강점, 한국어 적용 시 주의점도 함께 살펴봤습니다.

#LLM#ML#강화학습
6300

AI

AI 추론 능력을 극대화하는 DeepSeek-R1의 혁신

DeepSeek-R1의 강화 학습 기반 추론 향상 방식과 지식 증류 전략을 정리했습니다. 또한 API 활용, 소형 모델 성능, 향후 개선 과제까지 함께 살펴봤습니다.

#LLM#ML#강화 학습
3900

AI

[DAN 24] 검색과 피드의 만남: LLM으로 완성하는 초개인화 서비스 ② 사용자 검색 의도 세분화

검색어와 문서를 함께 고려해 사용자 의도를 세분화하는 LLM 기반 모델을 설계했습니다. 이를 통해 추천의 맥락 정확도를 높이고 CTR도 개선했습니다.

#LLM#검색#지식 증류
4300

AI

[DAN 24] 검색과 피드의 만남: LLM으로 완성하는 초개인화 서비스 ③ 사용자 관심 주제 추출

홈피드 추천 고도화를 위해 LLM으로 사용자 관심 주제를 세분화하는 분류기와 선호도 추출 방식을 소개했습니다. 데이터 증강과 지식 증류, 가이드 생성으로 안정성과 클릭률 개선 효과를 확인했습니다.

#LLM#검색#추천
4300

AI

[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 1편 - LLM 이식 방법

롱테일 질의의 검색 랭킹을 개선하기 위해 LLM의 재순위화 능력을 경량 랭커로 이식한 방법을 다루었습니다. 정답 데이터셋 구축과 지식 증류로 성능과 추론 효율을 함께 확보했습니다.

#LLM#검색#re-ranking
4900

AI

EdgeFusion: 온디바이스 텍스트 기반 이미지 생성

EdgeFusion은 고품질 합성 데이터와 LCM 맞춤 증류로 컴팩트 확산 모델의 생성 품질을 높였습니다. 모델 분할과 W8A16 양자화로 엑시노스 NPU에서 2단계, 1초 이내 생성을 달성했습니다.

#Stable Diffusion#LCM#지식 증류
100

AI

Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술

지속 학습에서 발생하는 Catastrophic Forgetting 문제와 주요 해결 방법을 분류해 소개했습니다. 정규화, 메모리 재학습, 구조 확장, 지식 증류의 특성을 설명했습니다.

#ML#NLP#continual learning
000

AI

EMNLP 2020 프리뷰

EMNLP 2020의 주요 키워드와 자연어 생성·대화·지식 활용 연구 흐름을 정리했습니다. 응답 생성, 임베딩, 상식 질의응답 등 7편의 논문 핵심 아이디어를 리뷰했습니다.

#EMNLP#NLP#LLM
200

AI

Transformer - Harder, Better, Faster, Stronger

Transformer의 Attention 구조와 GPT·BERT의 차이를 설명했습니다. 성능 향상과 경량화를 위한 후속 모델·압축 기법을 비교했습니다.

#Transformer#NLP#BERT
200

AI

핑퐁팀 ML 세미나, 그 세번째

ML 세미나 시즌 3에서 대화 상태 추적, 지식 증류, 텍스트 생성 관련 논문을 공유했습니다. Transformer 기반 생성 모델의 활용 가능성과 경량화 과제를 함께 짚었습니다.

#ML#NLP#Transformer
300