고등학생도 이해하는 Transformer (Deep Learning) #4

핵심 내용

• 4차원 이상 벡터의 내적을 직관적으로 설명하며, 내적을 유사도와 영향도 측정으로 해석
• 입력 벡터와 DCT Basis Vector의 내적 값을 통해 어떤 벡터와 가장 닮았는지 확인하는 예시 제시
• 내적 값을 Softmax로 확률처럼 바꾸고, 분류 학습에 활용하는 흐름 설명
• DCT Basis Vector가 영상·오디오를 시간 영역에서 주파수 영역으로 변환하는 데 쓰인다는 점 소개

적용해볼 점

• 다양한 입력 벡터를 만들어 어떤 Basis Vector와 가장 큰 내적을 가지는지 직접 추정해보기
• 8차원 DCT Basis Vector로 더 높은 차원의 내적 감각 익히기
• 주파수 성분이 다른 신호와 Basis Vector의 내적 관계를 비교해보기