[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화
[클로바 시선 #59] 최신 GPU의 잠재력을 깨우다: B200을 위한 Mamba-2 커널 최적화
NVIDIA B200의 성능을 충분히 활용하려면 GPU 세대에 맞춘 커널 최적화가 필요합니다. FlashAttention의 세대별 발전 사례를 통해 이를 조명합니다.
#B200#GPU
200
NVIDIA B200의 성능을 충분히 활용하려면 GPU 세대에 맞춘 커널 최적화가 필요합니다. FlashAttention의 세대별 발전 사례를 통해 이를 조명합니다.

LLM 서빙 비용을 줄이기 위한 추론 최적화 기법과 CPU·GPU·IPU 서빙 방식을 정리했습니다. Latency-RPS 부하 테스트로 지연시간·처리량·인스턴스 비용을 평가하는 방법을 제시합니다.