모든 블로그
노타

노타

도메인blog.nota.ai
주요 카테고리 AI

활동 요약

대표 인기 포스트30B 로컬 LLM을 맥북에서 돌릴 수 있을까? 1.58비트 터너리 양자화21 조회
최근 30일
3개
평균 조회
2
누적 조회
99
전체 글
43개
마지막 발행
2026. 11. 16.
블로그 방문

노타 기술 블로그 글 (43)

AI

축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법

트랜스포머 블록을 제거하는 깊이 가지치기로 LLM 추론 비용과 지연을 줄였습니다. 소규모 배치 환경에서 너비 가지치기보다 빠른 생성 속도와 경쟁력 있는 성능을 보였습니다.

#LLM#가지치기#Transformer
000

AI

엔비디아 TAO Toolkit 결과 모델을 다양한 엣지 장치에서 실행하기 위한 LaunchX 연동 방법

TAO Toolkit 모델을 ONNX로 내보내 LaunchX와 연동하는 과정을 소개했습니다. PyNetsPresso로 여러 엣지 장치의 변환 및 벤치마크를 확인합니다.

#TAO Toolkit#ONNX#LaunchX
000

AI

모바일 AI의 혁신 : 실시간 성능 향상을 위해 넷츠프레소로 의미론적 분할 모델을 가속하는 방법

모바일 환경에서 PIDNet 의미론적 분할 모델의 실시간 처리 지연 문제를 다뤘습니다. NetsPresso 구조적 가지치기로 압축률별 정확도와 지연 시간의 균형을 비교했습니다.

#NetsPresso#의미론적 분할#PIDNet
500

AI

장애물 감지 앱과 AI 모델 최적화로 보행자 안전 강화하기

엣지 AI 기반 안드로이드 장애물 감지 앱의 실시간 객체 감지 방식을 소개했습니다. YOLOv5 모델 경량화로 지연 시간과 전력 소비를 낮춘 결과를 공유합니다.

#엣지 AI#객체 감지#Android
100

AI

AI 모델 최적화를 활용한 혁신적인 세탁 기호 탐지 솔루션: 정확도를 위한 프로세스의 간소화

세탁 기호 객체 탐지 모델을 Android용 TFLite로 구현하고 NetsPresso로 최적화했습니다. 경량 모델은 크기를 줄이면서도 유사한 정확도와 더 빠른 탐지 속도를 보였습니다.

#객체 탐지#Android#TFLite
100

AI

AI 기반 포트홀 감지를 통한 도로 안전 개선: AI 비전 개발자 및 엔지니어를 위한 성능 최적화

안드로이드 기기에서 TFLite 객체 감지 모델로 포트홀을 실시간 감지했습니다. NetsPresso 경량화로 정확도를 유지하며 지연 시간과 연산량을 줄였습니다.

#객체 감지#Edge AI#Android
000

AI

파이넷츠프레소의 가지치기 기법을 활용한YOLOv5-L의 실시간 처리 속도 향상

PyNetsPresso의 DAP로 YOLOv5-L에서 의존성을 고려한 파라미터 제거 방식을 소개했습니다. Jetson Xavier·TensorRT 환경에서 2.63배 성능 향상과 2% 수준의 성능 저하를 제시했습니다.

#YOLOv5#NetsPresso#가지치기
100