토크나이저의 이해와 BPE 기반 LLM에서의 한국어 처리 문제

#LLM 주제를 이어서 읽기

Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (feat. Andrej Karpathy) #1

LLM이 텍스트를 토큰으로 어떻게 받아들이는지 설명하는 입문 글입니다.\n토큰 개념과 학습 맥락을 이해하는 데 도움이 됩니다.

현대자동차그룹

AI