Long context LLM : 2부 RoPE Extension Method
RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.
#LLM#Transformer#RoPE
1500
태그
Perplexity 기술 블로그 글
Perplexity 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 2개최신 2개 표시
관련 태그
최신 게시글
2개 표시
