AI
Long context LLM : 2부 RoPE Extension Method
두줄요약
RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.
핵심 내용
- RoPE 기반 LLM에서 context length 확장 시 Position Interpolation 적용 방식 소개
- 제한된 context 범위를 넘어선 attention score 폭발 문제와 linear scale 보정 개념 정리
- 적은 finetuning으로도 perplexity 성능을 유지하거나 개선한 실험 결과 언급
- 다음 글에서 NTK aware interpolation, NTK by part interpolation, Yarn 확장 예고