AI
고등학생도 이해하는 Transformer (Deep Learning) #4
두줄요약
4차원 이상 벡터의 내적을 유사도 관점에서 쉽게 설명했습니다. DCT Basis Vector와 Softmax를 통해 분류와 주파수 변환의 연결도 소개했습니다.
핵심 내용
- 4차원 이상 벡터의 내적을 직관적으로 설명하며, 내적을 유사도와 영향도 측정으로 해석
- 입력 벡터와 DCT Basis Vector의 내적 값을 통해 어떤 벡터와 가장 닮았는지 확인하는 예시 제시
- 내적 값을 Softmax로 확률처럼 바꾸고, 분류 학습에 활용하는 흐름 설명
- DCT Basis Vector가 영상·오디오를 시간 영역에서 주파수 영역으로 변환하는 데 쓰인다는 점 소개
적용해볼 점
- 다양한 입력 벡터를 만들어 어떤 Basis Vector와 가장 큰 내적을 가지는지 직접 추정해보기
- 8차원 DCT Basis Vector로 더 높은 차원의 내적 감각 익히기
- 주파수 성분이 다른 신호와 Basis Vector의 내적 관계를 비교해보기
