MLC LLM을 이용한 안드로이드 On-device AI 맛보기
안드로이드 기기에서 LLM을 직접 구동하는 MLC LLM 활용 방법을 소개했습니다. 환경 구축부터 샘플 앱 빌드, 모델 변환과 배포까지의 흐름을 정리했습니다.
#Android#LLM#Python
11500
태그
Hugging Face 기술 블로그 글
Hugging Face 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 10개최신 10개 표시
관련 태그
최신 게시글
10개 표시
sLLM, Gemma 파인튜닝 예
Gemma sLLM을 한국어 요약용으로 파인튜닝하는 과정을 Hugging Face와 QLoRA 기반으로 소개했습니다. 데이터셋 준비부터 프롬프트 구성, 학습, 병합 모델 추론까지의 흐름을 정리했습니다.
#LLM#Gemma#fine-tuning
11600
Hugging Face API로 배우는 GPU 친화적 모델 학습
Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.
#Hugging Face#ML#GPU
9800
Unity와 Hugging Face로 AI 갤러리 만들어 보기
Unity에서 Hugging Face Inference API를 호출해 이미지 생성 기능을 붙이는 방법을 소개했습니다. 3D 공간의 스크린에 생성 이미지를 표시해 AI 갤러리를 만드는 예제를 보여줬습니다.
#Unity#Hugging Face#API
2200
NVIDIA가 개발한 오픈 소스 툴킷: NeMo Guardrails 소개
NeMo Guardrails는 LLM 응답을 YAML 또는 Python 규칙으로 제어하는 오픈 소스 툴킷입니다. 안전한 응답 필터링과 비즈니스 규칙 적용 예시를 함께 소개했습니다.
#LLM#YAML#Python
4600
허깅페이스 트랜스포머 라이브러리 사용방법
허깅페이스 트랜스포머의 기본 개념과 사용 흐름을 정리했습니다. 모델 로딩, 토크나이징, 데이터셋 준비, 학습, 추론까지 한 번에 살펴볼 수 있었습니다.
#Python#LLM#transformers
3000
허깅 페이스 Trainer API 이용하기
허깅페이스 Trainer API로 KLUE/ynat 텍스트 분류 모델을 학습하고 평가하는 과정을 정리했습니다. 또한 학습한 모델을 허브에 업로드하고 pipeline으로 추론하는 방법도 함께 소개했습니다.
#Hugging Face#Trainer API#transformers
1900
[#2 LLM Tutorial With RAG] 내 컴퓨터에 Chat GPT를 설치하자 With Ollama
X
#LLM#RAG#Ollama
1300
오픈챗 해시태그 예측을 위한 다중 레이블 분류 모델 개발하기
오픈챗 이름과 설명을 바탕으로 해시태그를 예측하는 다중 레이블 분류 모델 개발 과정을 소개했습니다. 또한 MMR과 임계치 조정으로 실시간 추천과 오프라인 태깅의 요구를 각각 맞췄습니다.
#ML#multi-label classification#Transformers
2300
Mergekit, LLM을 한번 합쳐보자!
Mergekit으로 공개 LLM을 병합하는 방법과 YAML 설정, 실행 절차를 정리했습니다. 병합 결과를 허깅페이스에 올려 활용하는 흐름까지 소개했습니다.
#LLM#mergekit#Hugging Face
2400
