금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
금융보안 AI 경진대회에서 24GB 단일 GPU 제약 아래 LLM 파이프라인을 설계하고 우수상을 수상한 과정을 정리했습니다.\n모델 선정부터 CPT, RAG, 양자화, 출력 제어까지의 선택 이유와 성능 개선 결과를 공유했습니다.
#LLM#RAG
70005분
필터 1
T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기
올리브영이 Gemma 3-4B 기반 sLLM을 단일 T4 GPU 환경에서 학습해 리뷰 테마 추천에 적용한 사례를 다뤘습니다. 상용 API 대비 재현성과 비용 통제력을 높이고, 프롬프트 단축과 최적화로 실서비스 품질을 확보했습니다.
#Gemma#LLM
130005분
vLLM의 기술적 혁신과 성능 향상 이야기
vLLM의 핵심 기술과 성능 최적화 옵션, 그리고 v1 엔진의 구조 개선을 정리했습니다.\n기능 호환성과 운영 단순성을 높이면서 성능을 끌어올린 흐름을 함께 설명했습니다.
#vLLM#LLM
72005분
Hugging Face API로 배우는 GPU 친화적 모델 학습
Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.
#Hugging Face#ML
97005분
실험으로 알아보는 LLM 파인튜닝 최적화 가이드 Part 1.
LLM 파인튜닝에서 배치 크기, 시퀀스 길이, 메모리 최적화 기법의 영향을 실험 기반으로 정리했습니다.\nGPU 제약과 데이터 특성에 맞춰 직접 실험하며 최적값을 찾는 접근을 강조했습니다.
#LLM#파인튜닝
32005분
AI로 통화의 미래를 열다: 에이닷 전화 통화요약 서비스의 핵심 기술(LLM) 소개
에이닷 전화 통화요약 서비스에 적용한 LLM 개발 과정을 소개했습니다. 자동·수동 데이터를 결합한 학습과 LoRA 기반 미세조정, 전문가 평가로 품질을 높였습니다.
#LLM#NLP
33005분
언어 모델의 Fine-Tuning 성능 올리기
언어 모델의 Fine-Tuning 성능 올리기
언어 모델의 fine-tuning 성능을 높이는 LoRA, TAPT, DAPT, Adversarial Training을 소개했습니다. 대규모 전체 학습보다 비용과 효율을 고려한 적용 방향을 정리했습니다.
#LLM#fine-tuning
0005분