데보션 · 2024년 12월 30일

데브옵스

kubernetes에서 Local LLM 편리하게 사용하기

Kubernetes에서 로컬 LLM을 쓰는 세 가지 접근을 직접 Pod, KServe, KubeAI로 나누어 정리했습니다. 간단한 실습부터 운영 관점의 제약과 선택 포인트까지 함께 살펴봤습니다.