우리 팀만의 vLLM 플러그인 만들기 2편 - 모델 변환부터 배포까지 AI-native로 자동화하기
vLLM 모델 변환과 배포를 Claude Code Skill로 자동화한 과정을 소개했습니다. 필요한 지식만 읽는 구조로 바꾸며 토큰을 97% 줄이고 E2E 배포 흐름까지 만들었습니다.
#vLLM#Claude Code
2700
필터 1
AI 서비스의 안정성과 비용 최적화 둘다 잡은 Runway Autoscaling 개발 여정
Runway 추론 서비스의 Autoscaling 과정에 자원 한도 검증을 추가해 멀티테넌트 환경의 비용과 안정성을 함께 개선했습니다. Kubernetes Admission Webhook과 Runway API를 연동해 KPA와 HPA 모두에 일관된 정책을 적용했습니다.
#Kubernetes#Autoscaling
3900
kubernetes에서 Local LLM 편리하게 사용하기
Kubernetes에서 로컬 LLM을 쓰는 세 가지 접근을 직접 Pod, KServe, KubeAI로 나누어 정리했습니다. 간단한 실습부터 운영 관점의 제약과 선택 포인트까지 함께 살펴봤습니다.
#Kubernetes#LLM
2500