Velopers

새로운 기술 블로그가 추가되었어요

아임웹

오늘 새 글

0개

오늘 조회수

43회

최근 7일 인기 글AI로 웹 엔지니어 없이 LINE 앱 안에서 그룹 영상 통화 서비스 만들기라인 · 54회최근 30일 활발한 블로그AWS23개 발행 · 총 388개 · 18,937회
필터 1
Long context LLM : 2부 RoPE Extension Method
데보션
AI

Long context LLM : 2부 RoPE Extension Method

RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.

#LLM#Transformer
15005분