AI Agent 속도 최적화를 위한 Speculative Decoding
Speculative Decoding으로 AI Agent의 응답 지연을 줄이는 원리를 설명했습니다. Small Model 예측과 Large Model 검증을 결합해 속도 개선 가능성을 제시했습니다.
#LLM#Speculative Decoding#Huggingface
3900
태그
speculative decoding 기술 블로그 글
speculative decoding 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 4개최신 4개 표시
관련 태그
최신 게시글
4개 표시
LLM Knowledge Distillation 훑어보기 - part 2
지식 증류가 student 성능 개선뿐 아니라 LLM 추론 속도 향상에도 활용된다는 점을 정리했습니다. speculative decoding과 SKD 같은 최신 방법으로 성능과 효율을 함께 높이는 흐름을 설명했습니다.
#LLM#knowledge distillation#speculative decoding
4600
LLM Knowledge Distillation 훑어보기 - part 1
LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.
#LLM#Knowledge Distillation#gpt-4o-mini
7700
AI 학습을 위한 LLM 스터디 - 배치 전략 및 어텐션 개선 방안
LLM 추론 효율을 높이기 위한 배치 전략과 어텐션 개선 방법을 정리한 글입니다. FlashAttention, 페이지 어텐션, 추측 디코딩의 개념과 장점을 설명했습니다.
#LLM#batch#FlashAttention
2800
