AI
로봇 ML 모델의 경량화 #1: 훈련 후 양자화
두줄요약
실외 자율주행 로봇에서는 서버용 ML 모델을 그대로 쓰기 어려워 경량화가 필요했습니다. 이 글은 PTQ와 TensorRT 기반 최적화, ONNX 변환 흐름을 설명했습니다.
핵심 내용
- 실외 자율주행 로봇에서는 고성능 서버용 ML 모델을 그대로 배포하기 어려워 경량화가 필요함
- Jetson과 TensorRT를 활용해 서버에서 학습한 모델을 엣지 환경에 맞게 최적화하는 흐름을 설명함
- 훈련 후 양자화(PTQ)의 원리, 캘리브레이션 개념, PyTorch 모델의 ONNX 변환과 TensorRT 엔진 생성 방법을 예시로 소개함
- Torch-TensorRT와의 차이도 함께 비교하며, 실시간성이 중요한 경우 온전한 TensorRT 엔진 활용을 권장함