태그

KServe 기술 블로그 글

KServe 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 3개최신 3개 표시

우리 팀만의 vLLM 플러그인 만들기 2편 - 모델 변환부터 배포까지 AI-native로 자동화하기

vLLM 모델 변환과 배포를 Claude Code Skill로 자동화한 과정을 소개했습니다. 필요한 지식만 읽는 구조로 바꾸며 토큰을 97% 줄이고 E2E 배포 흐름까지 만들었습니다.

2025년 5월 27일

Runway 추론 서비스의 Autoscaling 과정에 자원 한도 검증을 추가해 멀티테넌트 환경의 비용과 안정성을 함께 개선했습니다. Kubernetes Admission Webhook과 Runway API를 연동해 KPA와 HPA 모두에 일관된 정책을 적용했습니다.

2024년 12월 30일

Kubernetes에서 로컬 LLM을 쓰는 세 가지 접근을 직접 Pod, KServe, KubeAI로 나누어 정리했습니다. 간단한 실습부터 운영 관점의 제약과 선택 포인트까지 함께 살펴봤습니다.