측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기
AI Pick 카드 생성 품질을 높이기 위해 SFT 이후 정렬 학습과 평가 지표를 설계한 과정을 공유했습니다. 형식 검증기와 NLL 프록시로 선호 쌍을 만들고 DPO, GRPO로 품질과 형식을 함께 개선했습니다.
#LLM#DPO#GRPO
5500
태그
DPO 기술 블로그 글
DPO 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 9개최신 9개 표시
관련 태그
최신 게시글
9개 표시
유저와 함께 만드는 LLM — 제타에 Preference Optimization 도입하기
답변 재생성 시그널을 정제해 DPO 학습용 선호 페어를 구성했습니다. 강한 거부 신호와 분포 조정으로 이용 시간·리텐션을 개선했습니다.
#LLM#DPO#Preference Optimization
100
상담사향 TTS 만들기
상담사처럼 발화하는 TTS를 만들기 위해 한국어 적응, 단일 화자 미세조정, GRPO, DPO를 단계적으로 적용했습니다. 명료도와 상담사향 프로소디를 함께 개선하며 실제 전화 상담에 맞는 음성을 추구했습니다.
#TTS#LLM#Python
700
상담사향 TTS 만들기
상담사향 TTS 만들기
상담사처럼 말하는 한국어 TTS를 만들기 위해 데이터 학습, 명료도 개선, 선호도 기반 후학습을 단계적으로 적용했습니다. GRPO와 DPO로 상담사향 프로소디와 화자 일관성을 높인 과정을 소개했습니다.
#TTS#LLM#Python
1800
Computer Use Agent(CUA)를 직접 돌려보자! (Feat. AgentQ)
Computer Use Agent의 개념과 활용 배경을 소개하고, AgentQ 논문과 구현을 직접 실행해보는 과정을 정리했습니다. MCTS와 DPO를 결합한 정책 학습 구조와 실습 절차도 함께 설명했습니다.
#LLM#AI Agent#MCTS
7900
모델 정렬을 위한 효과적인 학습 전략
사전 학습, 지도 미세 조정, RLHF, DPO를 통해 LLM 정렬 전략을 설명했습니다. 특히 선호 데이터와 기각 샘플링, DPO의 장점을 중심으로 비교했습니다.
#LLM#RLHF#DPO
2800
RLHF - 어떻게 LLM의 성능을 향상시킬 수 있을까?
RLHF를 중심으로 LLM 성능을 높이는 SFT, Reward Model, PPO, DPO를 정리했습니다. 사람 선호를 반영하되 학습 불안정성과 보상 해킹에 주의해야 합니다.
#LLM#RLHF#SFT
4800
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
RLHF의 복잡성과 불안정성을 줄이기 위한 RRHF·SLiC-HF·DPO·Rejection Sampling을 비교했습니다. 실험에서는 Rejection Sampling과 DPO가 유용성·응답 안정성 측면에서 두드러졌습니다.
#LLM#RLHF#DPO
200
더 나은 생성모델을 위해 RLHF로 피드백 학습시키기
사람의 선호도를 보상으로 학습하는 RLHF의 SFT·리워드 모델·PPO 과정을 설명했습니다. 루다 적용 실험과 학습 불안정성, FSDP·DPO 등 최적화 및 대안을 소개했습니다.
#RLHF#LLM#PPO
100
