Hugging Face API로 배우는 GPU 친화적 모델 학습
Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.
#Hugging Face#ML
10600
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
GPU 서버 대여, 이것 몰랐다간 후회합니다! (FAQ 총정리)
GPU 서버 대여, 이것 몰랐다간 후회합니다! (FAQ 총정리)
GPU 서버호스팅의 개념과 장점을 FAQ 중심으로 정리했습니다. 도입 전 궁금한 권한, 요금, 사양, 지원 범위를 함께 안내했습니다.
#GPU#ML
14700
효율적인 GPU 메모리 사용을 위한 여러 기법
GPU 메모리 사용을 줄이기 위한 그레이디언트 누적, 체크포인팅, ZeRO, LoRA, QLoRA를 정리했습니다. 각 기법이 절감하는 메모리 영역과 적용 효과를 예시와 함께 설명했습니다.
#GPU#ML
4400
차세대 HBM이라고 나타난 CXL 무엇일까?
CXL의 개념과 PCIe 기반 동작, 메모리 풀링·캐시 일관성 같은 특징을 정리했습니다. AI 연산 시스템과 데이터센터에서 메모리 확장성과 효율을 높이는 활용 가능성도 소개했습니다.
#CXL#ML
2100
엘리스 그룹, 나의 AI 선생님의 이야기
엘리스그룹의 설립 배경과 AI 교육·실습 플랫폼, 클라우드, 평가 서비스 등을 소개했습니다. 또한 오프라인 교육 공간과 최근 소식, 채용 정보도 함께 정리했습니다.
#교육#cloud
2200
엘리스 그룹, 나의 AI 선생님의 이야기
엘리스그룹의 설립 배경과 AI 교육 플랫폼, 클라우드, 테스트 서비스 등을 소개했습니다. 성수 엘리스 랩과 최근 수상 소식, 채용 정보도 함께 다뤘습니다.
#교육#cloud
2200
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
스노우 AI 서비스의 GPU 서버 인프라를 Kubernetes 클러스터로 이전한 사례를 공유했습니다.\nGPU 자원 스케줄링과 운영 개선 관점을 함께 살펴볼 수 있습니다.
#Kubernetes#GPU
4700
고등학생도 이해하는 Transformer (Deep Learning) #3
그래픽스의 Affine 변환을 내적과 매트릭스 연산으로 설명했습니다. 내적의 의미를 이해하면 Transformer와 다차원 공간을 더 쉽게 볼 수 있다고 강조했습니다.
#Transformer#ML
2200
AI 산업에 필요한 HBM의 특징과 사용하는 이유
HBM의 구조와 원리를 통해 왜 AI 산업에서 고대역폭 메모리가 중요한지 설명했습니다. DRAM과 비교하며 속도, 대역폭, 용량 측면의 장점을 정리했습니다.
#DRAM#HBM
2700
고성능 GPU 클러스터 도입기 #2: 이주하는 데이터
고성능 GPU 클러스터에서 발생하는 통신 비용과 병목 구간을 하드웨어 관점에서 정리했습니다. 스토리지, 서버 내 GPU, 서버 간 통신에 맞춰 NVMe SSD, NVLink, NVSwitch, InfiniBand 선택을 제안했습니다.
#LLM#GPU
3400
AI 개발을 위해 꼭 필요한 ‘GPU’란? 개념부터 서비스 추천까지 완벽 정리!
AI 개발을 위해 꼭 필요한 ‘GPU’란? 개념부터 서비스 추천까지 완벽 정리!
GPU의 기본 개념과 CPU와의 차이, AI에서 중요한 이유를 정리한 글입니다. GPU 서버를 효율적으로 쓰는 서버호스팅과 코로케이션 서비스도 함께 소개했습니다.
#GPU#ML
3400
고등학생도 이해하는 Transformer (Deep Learning) #1
내적을 벡터의 유사도와 투영으로 설명하며 딥러닝 이해의 기초 개념으로 풀어냈습니다. 코사인 값과 그림자 비유를 통해 Transformer와 GPU 연산의 직관을 제시했습니다.
#Transformer#ML
3000
고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요
토스증권이 투자 분석용 LLM을 위해 자체 고성능 GPU 클러스터를 도입한 배경을 설명했습니다. 개인정보 보호, 비용 효율, 실시간성 제약과 GPU 운용상의 유의점을 함께 짚었습니다.
#LLM#GPU
3100
Data Parallelism in Machine Learning Training
대규모 머신러닝 학습에서 데이터 병렬성과 동기/비동기 업데이트 방식을 설명했습니다. 또한 Ring-AllReduce로 통신 병목과 상태 불일치 문제를 완화하는 방법을 소개했습니다.
#ML#distributed training
1800