측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기
AI Pick 카드 생성 품질을 높이기 위해 SFT 이후 정렬 학습과 평가 지표를 설계한 과정을 공유했습니다. 형식 검증기와 NLL 프록시로 선호 쌍을 만들고 DPO, GRPO로 품질과 형식을 함께 개선했습니다.
#LLM#DPO
5500
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
유저와 함께 만드는 LLM — 제타에 Preference Optimization 도입하기
답변 재생성 시그널을 정제해 DPO 학습용 선호 페어를 구성했습니다. 강한 거부 신호와 분포 조정으로 이용 시간·리텐션을 개선했습니다.
#LLM#DPO
100
상담사향 TTS 만들기
상담사향 TTS 만들기
상담사처럼 발화하는 TTS를 만들기 위해 한국어 적응, 단일 화자 미세조정, GRPO, DPO를 단계적으로 적용했습니다. 명료도와 상담사향 프로소디를 함께 개선하며 실제 전화 상담에 맞는 음성을 추구했습니다.
#TTS#LLM
700
상담사향 TTS 만들기
상담사처럼 말하는 한국어 TTS를 만들기 위해 데이터 학습, 명료도 개선, 선호도 기반 후학습을 단계적으로 적용했습니다. GRPO와 DPO로 상담사향 프로소디와 화자 일관성을 높인 과정을 소개했습니다.
#TTS#LLM
1800
Computer Use Agent(CUA)를 직접 돌려보자! (Feat. AgentQ)
Computer Use Agent의 개념과 활용 배경을 소개하고, AgentQ 논문과 구현을 직접 실행해보는 과정을 정리했습니다. MCTS와 DPO를 결합한 정책 학습 구조와 실습 절차도 함께 설명했습니다.
#LLM#AI Agent
7900
모델 정렬을 위한 효과적인 학습 전략
사전 학습, 지도 미세 조정, RLHF, DPO를 통해 LLM 정렬 전략을 설명했습니다. 특히 선호 데이터와 기각 샘플링, DPO의 장점을 중심으로 비교했습니다.
#LLM#RLHF
2800
RLHF - 어떻게 LLM의 성능을 향상시킬 수 있을까?
RLHF를 중심으로 LLM 성능을 높이는 SFT, Reward Model, PPO, DPO를 정리했습니다. 사람 선호를 반영하되 학습 불안정성과 보상 해킹에 주의해야 합니다.
#LLM#RLHF
4800
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
RLHF의 복잡성과 불안정성을 줄이기 위한 RRHF·SLiC-HF·DPO·Rejection Sampling을 비교했습니다. 실험에서는 Rejection Sampling과 DPO가 유용성·응답 안정성 측면에서 두드러졌습니다.
#LLM#RLHF
200
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
더 나은 생성모델을 위해 RLHF로 피드백 학습시키기
사람의 선호도를 보상으로 학습하는 RLHF의 SFT·리워드 모델·PPO 과정을 설명했습니다. 루다 적용 실험과 학습 불안정성, FSDP·DPO 등 최적화 및 대안을 소개했습니다.
#RLHF#LLM
100