데보션·2025년 2월 8일

AI

AI 학습을 위한 LLM 스터디 - 배치 전략 및 어텐션 개선 방안

LLM 추론 효율을 높이기 위한 배치 전략과 어텐션 개선 방법을 정리한 글입니다. FlashAttention, 페이지 어텐션, 추측 디코딩의 개념과 장점을 설명했습니다.