실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 2.
LLM 파인튜닝에서 Optimizer, 학습률, 스케줄러, Warmup, 정밀도 선택 기준을 실험 결과로 정리했습니다.메모리와 안정성을 함께 고려해 AdamW 계열과 BF16, 1e-4 근처 학습률을 중심으로 검증하는 방법을 제시했습니다.
#LLM#파인튜닝
58005분
필터 1
실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 1.
LLM 파인튜닝에서 배치 크기, 시퀀스 길이, 메모리 최적화 기법의 영향을 실험 기반으로 정리했습니다.\nGPU 제약과 데이터 특성에 맞춰 직접 실험하며 최적값을 찾는 접근을 강조했습니다.
#LLM#파인튜닝
32005분
안드로이드에서 Gemma2 파인튜닝 모델 실행하기
안드로이드에서 Gemma2 파인튜닝 모델을 실행하는 과정을 파인튜닝, MediaPipe 변환, 온디바이스 실행 순서로 설명했습니다. 한국어 요약 모델 예시와 파인튜닝 전후 비교, 긴 입력 시 제약도 함께 다뤘습니다.
#Android#Gemma
25005분