
T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기
올리브영이 Gemma 3-4B 기반 sLLM을 단일 T4 GPU 환경에서 학습해 리뷰 테마 추천에 적용한 사례를 다뤘습니다. 상용 API 대비 재현성과 비용 통제력을 높이고, 프롬프트 단축과 최적화로 실서비스 품질을 확보했습니다.
#Gemma#LLM
130005분

올리브영이 Gemma 3-4B 기반 sLLM을 단일 T4 GPU 환경에서 학습해 리뷰 테마 추천에 적용한 사례를 다뤘습니다. 상용 API 대비 재현성과 비용 통제력을 높이고, 프롬프트 단축과 최적화로 실서비스 품질을 확보했습니다.


Gemma sLLM을 한국어 요약용으로 파인튜닝하는 과정을 Hugging Face와 QLoRA 기반으로 소개했습니다. 데이터셋 준비부터 프롬프트 구성, 학습, 병합 모델 추론까지의 흐름을 정리했습니다.


Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.