고등학생도 이해하는 Transformer (Deep Learning) #3
그래픽스의 Affine 변환을 내적과 매트릭스 연산으로 설명했습니다. 내적의 의미를 이해하면 Transformer와 다차원 공간을 더 쉽게 볼 수 있다고 강조했습니다.
#Transformer#ML
2200
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Multimodal LLM 첫 삽 뜨기
멀티모달 LLM의 대표 아키텍처와 instruction tuning, RLHF 계열 정렬 기법을 정리했습니다. LLaVA 기반 사례와 데이터셋 구성을 함께 살펴볼 수 있습니다.
#LLM#ML
2300
고등학생도 이해하는 Transformer (Deep Learning) #2
Transformer와 딥러닝을 이해하기 위한 기초로 내적의 의미를 그래픽스 예시로 설명했습니다. 회전 행렬과 Basis Vector 변환을 통해 좌표 변환을 직관적으로 풀어냈습니다.
#Transformer#ML
2400
변화하는 이미지 변환기: Vision Transformer의 비밀
Vision Transformer의 기본 구조와 핵심 임베딩 요소를 중심으로 동작 원리를 정리했습니다. 또한 CNN 대비 장단점과 대규모 사전학습의 필요성도 함께 설명했습니다.
#Vision Transformer#Transformer
2400
Long context LLM : 2부 RoPE Extension Method
RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.
#LLM#Transformer
2100
고등학생도 이해하는 Transformer (Deep Learning) #1
내적을 벡터의 유사도와 투영으로 설명하며 딥러닝 이해의 기초 개념으로 풀어냈습니다. 코사인 값과 그림자 비유를 통해 Transformer와 GPU 연산의 직관을 제시했습니다.
#Transformer#ML
3000
함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부
장바구니 맥락의 보완재 추천을 위해 BERT4Rec과 NPMI 기반 전처리를 적용했습니다. A/B 테스트로 비개인화 추천 대비 장바구니 지표 개선을 확인했습니다.
#BERT4Rec#Transformer
000
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부
장바구니 바텀시트에 맞는 보완재 추천 모델을 개발하고, NPMI 정제와 셔플링 후처리로 추천 품질을 개선했습니다. A/B 테스트에서 전환과 담은 상품 수, 금액이 유의미하게 상승해 실제 서비스에 적용했습니다.
#ML#BERT4Rec
5400
미래 교실을 만드는 콴다의 AI 기술
콴다는 AI 디지털 교과서를 위해 OCR, 문제 분류, 해설 생성, 성취도 분석 기술을 결합했습니다. 이를 통해 학생별 맞춤형 학습과 교육 격차 해소를 목표로 했습니다.
#OCR#LLM
5300
Beauty Domain-Specific Pre-trained Language Model 개발하기
뷰티 리뷰·제품 정보와 공개 데이터를 학습한 도메인 특화 ELECTRA 기반 PLM 개발 과정을 소개했습니다.\n리뷰 분류 성능을 높이고 검수 자동화와 제품 속성 추출에 적용했습니다.
#BERT#NLP
000
Transformer를 이용해 대량의 게임 데이터를 임베딩 해보자!
게임 행동 로그를 Transformer-Autoencoder로 임베딩해 긴 시퀀스 처리와 GPU 학습 효율을 개선했습니다. 부정사용자 탐지에서 LSTM 기반 임베딩보다 높은 F1 Score를 확인했습니다.
#Transformer#Autoencoder
3800
핑퐁팀 ML 세미나, 그 여섯 번째
핑퐁팀의 2020년 여름 머신러닝 세미나 발표자료를 모아 공유했습니다. NLP 표현·평가와 검색, 편향, 대조 학습 관련 연구를 다뤘습니다.
#ML#NLP
000
GPT-3의 다섯 가지 한계
GPT-3의 과제별 성능, 물리 상식, 모델 규모, 기억 능력의 한계를 살펴봤습니다. 다음 단어 예측이 이해와 사고를 의미하는지에 대한 논쟁도 다뤘습니다.
#GPT-3#LLM
000