국내 IT 기업 기술 블로그 최신 글

필터 1
고등학생도 이해하는 Transformer (Deep Learning) #5
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #5

벡터 내적과 Linear Layer를 MNIST 분류 예제로 풀어 설명했습니다. 학습이 진행되며 가중치가 숫자 이미지와 닮아가는 과정을 통해 원리를 이해하도록 돕습니다.

#Transformer#ML
1900
고등학생도 이해하는 Transformer (Deep Learning) #4
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #4

4차원 이상 벡터의 내적을 유사도 관점에서 쉽게 설명했습니다. DCT Basis Vector와 Softmax를 통해 분류와 주파수 변환의 연결도 소개했습니다.

#Transformer#ML
3000
고등학생도 이해하는 Transformer (Deep Learning) #3
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #3

그래픽스의 Affine 변환을 내적과 매트릭스 연산으로 설명했습니다. 내적의 의미를 이해하면 Transformer와 다차원 공간을 더 쉽게 볼 수 있다고 강조했습니다.

#Transformer#ML
2300
Multimodal LLM 첫 삽 뜨기
데보션
AI

Multimodal LLM 첫 삽 뜨기

멀티모달 LLM의 대표 아키텍처와 instruction tuning, RLHF 계열 정렬 기법을 정리했습니다. LLaVA 기반 사례와 데이터셋 구성을 함께 살펴볼 수 있습니다.

#LLM#ML
2400
고등학생도 이해하는 Transformer (Deep Learning) #2
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #2

Transformer와 딥러닝을 이해하기 위한 기초로 내적의 의미를 그래픽스 예시로 설명했습니다. 회전 행렬과 Basis Vector 변환을 통해 좌표 변환을 직관적으로 풀어냈습니다.

#Transformer#ML
2800
변화하는 이미지 변환기: Vision Transformer의 비밀
데보션
AI

변화하는 이미지 변환기: Vision Transformer의 비밀

Vision Transformer의 기본 구조와 핵심 임베딩 요소를 중심으로 동작 원리를 정리했습니다. 또한 CNN 대비 장단점과 대규모 사전학습의 필요성도 함께 설명했습니다.

#Vision Transformer#Transformer
2400
Long context LLM : 2부 RoPE Extension Method
데보션
AI

Long context LLM : 2부 RoPE Extension Method

RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.

#LLM#Transformer
2400
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
고등학생도 이해하는 Transformer (Deep Learning) #1
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #1

내적을 벡터의 유사도와 투영으로 설명하며 딥러닝 이해의 기초 개념으로 풀어냈습니다. 코사인 값과 그림자 비유를 통해 Transformer와 GPU 연산의 직관을 제시했습니다.

#Transformer#ML
3100
함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부
마켓컬리
AI

함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부

장바구니 맥락의 보완재 추천을 위해 BERT4Rec과 NPMI 기반 전처리를 적용했습니다. A/B 테스트로 비개인화 추천 대비 장바구니 지표 개선을 확인했습니다.

#BERT4Rec#Transformer
100
함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부
마켓컬리
AI

함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 1부

장바구니 바텀시트에 맞는 보완재 추천 모델을 개발하고, NPMI 정제와 셔플링 후처리로 추천 품질을 개선했습니다. A/B 테스트에서 전환과 담은 상품 수, 금액이 유의미하게 상승해 실제 서비스에 적용했습니다.

#ML#BERT4Rec
5400
축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법
노타
AI

축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법

트랜스포머 블록을 제거하는 깊이 가지치기로 LLM 추론 비용과 지연을 줄였습니다. 소규모 배치 환경에서 너비 가지치기보다 빠른 생성 속도와 경쟁력 있는 성능을 보였습니다.

#LLM#가지치기
000
미래 교실을 만드는 콴다의 AI 기술
매스프레소
AI

미래 교실을 만드는 콴다의 AI 기술

콴다는 AI 디지털 교과서를 위해 OCR, 문제 분류, 해설 생성, 성취도 분석 기술을 결합했습니다. 이를 통해 학생별 맞춤형 학습과 교육 격차 해소를 목표로 했습니다.

#OCR#LLM
5300
Beauty Domain-Specific Pre-trained Language Model 개발하기
화해
AI

Beauty Domain-Specific Pre-trained Language Model 개발하기

뷰티 리뷰·제품 정보와 공개 데이터를 학습한 도메인 특화 ELECTRA 기반 PLM 개발 과정을 소개했습니다. 리뷰 분류 성능을 높이고 검수 자동화와 제품 속성 추출에 적용했습니다.

#BERT#NLP
100
Transformer를 이용해 대량의 게임 데이터를 임베딩 해보자!
NC소프트 DANBI
AI

Transformer를 이용해 대량의 게임 데이터를 임베딩 해보자!

게임 행동 로그를 Transformer-Autoencoder로 임베딩해 긴 시퀀스 처리와 GPU 학습 효율을 개선했습니다. 부정사용자 탐지에서 LSTM 기반 임베딩보다 높은 F1 Score를 확인했습니다.

#Transformer#Autoencoder
4000