AI
Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (feat. Andrej Karpathy) #1
두줄요약
LLM이 텍스트를 토큰으로 어떻게 받아들이는지 설명하는 입문 글입니다.\n토큰 개념과 학습 맥락을 이해하는 데 도움이 됩니다.
핵심 내용
- LLM이 텍스트를 토큰 단위로 받아들이는 방식에 대한 소개 글
- 학습에서 자주 언급되는 토큰 개념의 의미를 설명하려는 문제의식
- Andrej Karpathy 사례를 참고한 토크나이저 이해 입문 성격
적용해볼 점
- LLM 사용 시 토큰 단위 입력과 처리 방식에 대한 기본 이해 필요
- 모델 학습량이나 비용을 볼 때 토큰 개념을 함께 해석할 필요