국내 IT 기업 기술 블로그 최신 글

필터 1
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
네이버 D2
데브옵스

대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기

스노우 AI 서비스의 GPU 서버 인프라를 Kubernetes 클러스터로 이전한 사례를 공유했습니다. GPU 자원 스케줄링과 운영 개선 관점을 함께 살펴볼 수 있습니다.

#Kubernetes#GPU
4800
고등학생도 이해하는 Transformer (Deep Learning) #3
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #3

그래픽스의 Affine 변환을 내적과 매트릭스 연산으로 설명했습니다. 내적의 의미를 이해하면 Transformer와 다차원 공간을 더 쉽게 볼 수 있다고 강조했습니다.

#Transformer#ML
2300
AI 산업에 필요한 HBM의 특징과 사용하는 이유
데보션
AI

AI 산업에 필요한 HBM의 특징과 사용하는 이유

HBM의 구조와 원리를 통해 왜 AI 산업에서 고대역폭 메모리가 중요한지 설명했습니다. DRAM과 비교하며 속도, 대역폭, 용량 측면의 장점을 정리했습니다.

#DRAM#HBM
2700
고성능 GPU 클러스터 도입기 #2: 이주하는 데이터
토스
데브옵스

고성능 GPU 클러스터 도입기 #2: 이주하는 데이터

고성능 GPU 클러스터에서 발생하는 통신 비용과 병목 구간을 하드웨어 관점에서 정리했습니다. 스토리지, 서버 내 GPU, 서버 간 통신에 맞춰 NVMe SSD, NVLink, NVSwitch, InfiniBand 선택을 제안했습니다.

#LLM#GPU
3500
AI 개발을 위해 꼭 필요한 ‘GPU’란? 개념부터 서비스 추천까지 완벽 정리!
가비아
AI

AI 개발을 위해 꼭 필요한 ‘GPU’란? 개념부터 서비스 추천까지 완벽 정리!

GPU의 기본 개념과 CPU와의 차이, AI에서 중요한 이유를 정리한 글입니다. GPU 서버를 효율적으로 쓰는 서버호스팅과 코로케이션 서비스도 함께 소개했습니다.

#GPU#ML
3600
고등학생도 이해하는 Transformer (Deep Learning) #1
데보션
AI

고등학생도 이해하는 Transformer (Deep Learning) #1

내적을 벡터의 유사도와 투영으로 설명하며 딥러닝 이해의 기초 개념으로 풀어냈습니다. 코사인 값과 그림자 비유를 통해 Transformer와 GPU 연산의 직관을 제시했습니다.

#Transformer#ML
3100
고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요
토스
AI

고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요

토스증권이 투자 분석용 LLM을 위해 자체 고성능 GPU 클러스터를 도입한 배경을 설명했습니다. 개인정보 보호, 비용 효율, 실시간성 제약과 GPU 운용상의 유의점을 함께 짚었습니다.

#LLM#GPU
3100
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
Data Parallelism in Machine Learning Training
메가존클라우드
AI

Data Parallelism in Machine Learning Training

대규모 머신러닝 학습에서 데이터 병렬성과 동기/비동기 업데이트 방식을 설명했습니다. 또한 Ring-AllReduce로 통신 병목과 상태 불일치 문제를 완화하는 방법을 소개했습니다.

#ML#distributed training
2000
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법
스캐터랩 핑퐁
AI

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.

#LLM#GPU
700
샘 알트만과 따로 만나 1시간 동안 나눈 이야기
스캐터랩 핑퐁
AI

샘 알트만과 따로 만나 1시간 동안 나눈 이야기

OpenAI 서울 라운드테이블에서 API 플랫폼 전략과 LLM 제품화 과제를 공유했습니다. GPU, 환각, 비용, 데이터, 경쟁력 관점의 실무적 논의를 정리했습니다.

#OpenAI#LLM
000
Kurly만의 MLOps 구축하기 - 초석 다지기
마켓컬리
AI

Kurly만의 MLOps 구축하기 - 초석 다지기

Kubernetes 기반 MLOps 환경에서 GPU 자원 운영 부담을 줄이기 위한 기반을 설계했습니다. Karpenter와 NVDP로 GPU 노드의 자동 생성·회수 흐름을 구성했습니다.

#MLOps#Kubernetes
600
Kurly만의 MLOps 구축하기 - 초석 다지기
마켓컬리
데브옵스

Kurly만의 MLOps 구축하기 - 초석 다지기

컬리의 MLOps 구축 초기에 GPU 노드 자동화와 Karpenter 도입 과정을 소개했습니다. NVDP, affinity, consolidation 이슈까지 포함해 운영 포인트를 정리했습니다.

#MLOps#Kubernetes
4100
온프레미스 쿠버네티스에서 NAS, GPU 사용하기 (with RKE2, NFS, gpu-operator)
오토피디아
데브옵스

온프레미스 쿠버네티스에서 NAS, GPU 사용하기 (with RKE2, NFS, gpu-operator)

온프레미스 쿠버네티스에서 NAS와 GPU를 함께 쓰는 구성을 다뤘습니다. RKE2, NFS, gpu-operator를 활용한 클러스터 구축 맥락을 소개했습니다.

#Kubernetes#Docker
4000
AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄
스캐터랩 핑퐁
AI

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

AWS Inferentia로 TensorFlow RoBERTa 모델을 컴파일하고 GPU 인스턴스와 비용·성능을 비교했습니다. 1000RPS 기준 Inferentia의 높은 비용 효율과 동적 그래프 제약을 함께 정리했습니다.

#AWS Inferentia#TensorFlow
200