Attention 메커니즘: 개념과 활용
Attention 메커니즘의 개념과 필요성을 설명하고, Q/K/V 기반 작동 흐름을 정리했습니다. 또한 PyTorch와 TensorFlow 예제로 실제 구현 방법을 보여주었습니다.
#Attention#Transformer
9500
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
백엔드 개발자의 시선으로 풀어본 LLM 내부 동작 원리: 6단계로 쉽게 이해하기
LLM이 입력을 받아 답변을 생성하기까지의 내부 동작을 6단계로 나눠 쉽게 설명했습니다. 백엔드 개발자가 프롬프트와 활용 방식을 이해하는 데 필요한 핵심 흐름을 정리했습니다.
#LLM#자연어처리
33900
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다.\n실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.
#Transformer#Reformer
000
핑퐁팀 ML 세미나, 그 두 번째
핑퐁팀이 Question Answering을 주제로 진행한 ML 세미나 발표 자료를 모았습니다. Attention 설계와 외부 지식 통합을 통한 챗봇 응답 고도화 방향을 다룹니다.
#ML#NLP
000