목록 보기
Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (feat. Andrej Karpathy) #1
AI

Tokenizer: LLM은 텍스트를 어떻게 받아들일까? (feat. Andrej Karpathy) #1

현대자동차그룹
현대자동차그룹
2024년 6월 23일

두줄요약

LLM이 텍스트를 토큰으로 어떻게 받아들이는지 설명하는 입문 글입니다.\n토큰 개념과 학습 맥락을 이해하는 데 도움이 됩니다.

핵심 내용

  • LLM이 텍스트를 토큰 단위로 받아들이는 방식에 대한 소개 글
  • 학습에서 자주 언급되는 토큰 개념의 의미를 설명하려는 문제의식
  • Andrej Karpathy 사례를 참고한 토크나이저 이해 입문 성격

적용해볼 점

  • LLM 사용 시 토큰 단위 입력과 처리 방식에 대한 기본 이해 필요
  • 모델 학습량이나 비용을 볼 때 토큰 개념을 함께 해석할 필요

현대자동차그룹 계열사 채용106건

채용 사이트에서 전체 보기

다음 읽기

#LLM 주제를 이어서 읽기

[#3 LLM Tutorial With RAG] 오픈 소스 LLM의 약점을 보완하는 RAG

오픈 소스 LLM의 한계를 보완하는 RAG를 소개하는 튜토리얼 글입니다. 설치된 LLM을 활용해 검색 증강 생성 방식을 설명합니다.

현대자동차그룹
현대자동차그룹
AI

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...