BentoML 을 활용하여 딥러닝 모델 API 서빙하기
AI
BentoML 을 활용하여 딥러닝 모델 API 서빙하기
두줄요약
BentoML로 딥러닝 모델을 API 형태로 서빙한 경험과 패키징, 도커라이징 과정을 정리했습니다.\nSwagger UI 제공과 성능 개선, 운영 편의성 측면의 장단점도 함께 공유했습니다.
핵심 내용
- BentoML을 활용해 딥러닝 모델을 API로 서빙한 경험 공유
- 모델 패키징, 도커라이징, Swagger UI 제공, 버전 관리 연동 등 서빙 효율 개선 포인트 정리
- PyTorch Lightning 모델을 ONNX로 변환해 Bento bundle로 패키징한 과정과 JMeter 성능 테스트 결과 포함
적용해볼 점
- 모델 개발과 서빙을 한 흐름으로 묶어 반복 작업과 커뮤니케이션 비용 절감
- configuration.yml로 서버 옵션을 조정하고, Docker 이미지로 배포 흐름 단순화
- BentoML과 Yatai, MLflow 같은 도구 조합 가능성 검토