목록 보기
파이넷츠프레소의 가지치기 기법을 활용한YOLOv5-L의 실시간 처리 속도 향상
AI

파이넷츠프레소의 가지치기 기법을 활용한YOLOv5-L의 실시간 처리 속도 향상

노타
노타
2023년 6월 13일

두줄요약

PyNetsPresso의 DAP로 YOLOv5-L에서 의존성을 고려한 파라미터 제거 방식을 소개했습니다. Jetson Xavier·TensorRT 환경에서 2.63배 성능 향상과 2% 수준의 성능 저하를 제시했습니다.

문제 상황

  • YOLOv5-L의 높은 연산 자원 요구와 실시간 추론 적용의 어려움
  • 경량화 과정에서 정확도 저하를 최소화해야 하는 요구

해결 방법

  • PyNetsPresso의 의존성 인식 가지치기(DAP)로 계층 간 의존성을 고려한 불필요 파라미터 제거
  • SLAMP 기반 계층별 권장 가지치기 비율 설정과 가지치기 모델 재학습
  • 복잡한 스킵 연결·병합·분할 구조까지 추적하는 필터 단위 경량화

성능/운영 포인트

  • VOC 데이터셋 학습 모델을 Jetson Xavier에서 TensorRT 변환 후 지연 시간 측정
  • YOLOv5-L 성능 2.63배 향상과 성능 저하 2% 수준의 결과
  • 반복 가지치기를 위한 model_id 재사용 및 output_path 결과 저장

주의할 점

  • 0 값 할당 방식의 전통적 가지치기로는 실제 네트워크 크기·지연 시간 감소의 한계
  • 가지치기 후 최적 성능 회복을 위한 재학습 필요

다음 읽기

#가지치기 주제를 이어서 읽기

축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법

트랜스포머 블록을 제거하는 깊이 가지치기로 LLM 추론 비용과 지연을 줄였습니다.\n소규모 배치 환경에서 너비 가지치기보다 빠른 생성 속도와 경쟁력 있는 성능을 보였습니다.

노타
노타
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...