Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화
네이버 클라우드 플랫폼
2026년 10월 7일
AI

[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화

NVIDIA B200의 성능을 충분히 활용하려면 GPU 세대에 맞춘 커널 최적화가 필요합니다. FlashAttention의 세대별 발전 사례를 통해 이를 조명합니다.

#B200#GPU
200
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법
스캐터랩 핑퐁
2023년 8월 16일
AI

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.

#LLM#GPU
300

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의