같은 GPU로 더 많은 AI 요청을 처리할 수 있을까? ― KV 캐시 오프로딩 × EPP 라우팅: 계산 결과를 오래 남기고, 다음 요청이 그 결과를 찾아가게 하기
두줄요약
KV 캐시 오프로딩과 EPP 라우팅으로 계산 결과를 재활용하는 방식을 다룹니다. 동일 GPU 32장에서 3,456건 처리 시간을 121.7분에서 47.2분으로 줄였습니다.
구조와 흐름
- KV 캐시 오프로딩으로 기존 계산 결과 보존
- EPP 라우팅으로 후속 요청을 캐시 보유 위치로 유도
성능/운영 포인트
- GPU 32장과 요청 3,456건 조건에서 처리 시간 121.7분에서 47.2분으로 단축
- GPU와 모델 교체 없이 캐시 활용 및 요청 라우팅 방식 변경




