레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
AI
레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
두줄요약
BERT 기반 SPLADE 모델의 대규모 실시간 서빙 최적화 방법을 소개했습니다. FlashTokenizer와 전/후처리, 추론 최적화로 레거시 GPU 성능을 끌어올린 사례입니다.
핵심 내용
- BERT 기반 SPLADE 모델의 대규모 실시간 서비스 최적화 사례
- FlashTokenizer 개발 배경과 성능 소개
- 모델 단순화, 전/후처리, 추론 최적화, 서비스 적용까지의 흐름
- 레거시 GPU 환경에서 서빙 성능 개선 중심의 발표 세션