[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화
NVIDIA B200의 성능을 충분히 활용하려면 GPU 세대에 맞춘 커널 최적화가 필요합니다. FlashAttention의 세대별 발전 사례를 통해 이를 조명합니다.
#B200#GPU#Mamba-2
200
[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화
FlashAttention 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
2개 표시
NVIDIA B200의 성능을 충분히 활용하려면 GPU 세대에 맞춘 커널 최적화가 필요합니다. FlashAttention의 세대별 발전 사례를 통해 이를 조명합니다.
LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.