실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 2.
LLM 파인튜닝에서 Optimizer, 학습률, 스케줄러, Warmup, 정밀도 선택 기준을 실험 결과로 정리했습니다.메모리와 안정성을 함께 고려해 AdamW 계열과 BF16, 1e-4 근처 학습률을 중심으로 검증하는 방법을 제시했습니다.
#LLM#파인튜닝#Optimizer
7200
태그
파인튜닝 기술 블로그 글
파인튜닝 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 5개최신 5개 표시
관련 태그
최신 게시글
5개 표시
실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 1.
LLM 파인튜닝에서 배치 크기, 시퀀스 길이, 메모리 최적화 기법의 영향을 실험 기반으로 정리했습니다.\nGPU 제약과 데이터 특성에 맞춰 직접 실험하며 최적값을 찾는 접근을 강조했습니다.
#LLM#파인튜닝#LoRA
3800
안드로이드에서 Gemma2 파인튜닝 모델 실행하기
안드로이드에서 Gemma2 파인튜닝 모델을 실행하는 과정을 파인튜닝, MediaPipe 변환, 온디바이스 실행 순서로 설명했습니다. 한국어 요약 모델 예시와 파인튜닝 전후 비교, 긴 입력 시 제약도 함께 다뤘습니다.
#Android#Gemma#MediaPipe
2900
사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기
AI 캐릭터를 기획·데이터 제작·반복 학습·출시 준비의 4단계로 만드는 방법을 소개했습니다. 세이프티 정책과 운영 체계를 함께 갖춰 안전한 서비스 출시를 지원합니다.
#AI 챗봇#파인튜닝#대화 모델
000
샘 알트만과 따로 만나 1시간 동안 나눈 이야기
OpenAI 서울 라운드테이블에서 API 플랫폼 전략과 LLM 제품화 과제를 공유했습니다.\nGPU, 환각, 비용, 데이터, 경쟁력 관점의 실무적 논의를 정리했습니다.
#OpenAI#LLM#API
000
