모든 블로그
노타

노타

도메인blog.nota.ai
주요 카테고리 AI

활동 요약

대표 인기 포스트30B 로컬 LLM을 맥북에서 돌릴 수 있을까? 1.58비트 터너리 양자화20 조회
최근 30일
4개
평균 조회
2
누적 조회
85
전체 글
43개
마지막 발행
2026. 11. 16.
블로그 방문

노타 기술 블로그 글 (43)

AI

[넷츠프레소 톺아보기] 모델 최적화부터 타깃 배포까지 한 번에 끝내는 플랫폼

넷츠프레소의 CLI 기반 AI 모델 최적화·배포 파이프라인을 소개했습니다. 양자화 탐색과 시각화로 정확도·지연시간·메모리의 균형을 검증합니다.

#NetsPresso#LLM#양자화
000

AI

TurboQuant가 시장을 흔든 진짜 이유: AI 최적화는 이제 메인스트림

TurboQuant의 KV 캐시 양자화가 AI 메모리·전력 효율 경쟁의 핵심 신호임을 분석했습니다. 연구 단계인 만큼 실제 서빙 환경에서의 검증 필요성도 짚었습니다.

#TurboQuant#LLM#KV 캐시
000

AI

[GTC 2026 총정리] 1조 달러 추론 경쟁의 시작 : 빈틈을 메우는 노타

GTC 2026의 핵심 흐름을 추론 효율, 에이전틱 AI, 피지컬 AI 관점에서 정리했습니다. 데이터센터와 엣지 환경의 조건별 AI 최적화 과제를 짚었습니다.

#NVIDIA#추론#AI 에이전트
000

AI

GenAI Everywhere: 새로운 넷츠프레소가 제시하는 Edge AI 최적화의 미래

생성형 AI의 엣지 실행을 어렵게 하는 동적 모델 구조와 이기종 하드웨어 문제를 설명했습니다. NPIR과 Cross UI로 모델 최적화 실험·측정·분석 과정을 통합하는 방향을 소개합니다.

#Edge AI#생성형 AI#트랜스포머
000

AI

NotaMoEQuantization: Solar-Open-100B에 적용된 MoE 구조 특화 양자화 방법론

MoE 양자화의 재라우팅 문제를 줄이기 위한 NMQ 손실 함수를 소개했습니다. Solar-Open-100B에서 성능과 라우팅 일치도 개선을 확인했습니다.

#LLM#MoE#양자화
100

AI

ERGO: 비전-언어 모델을 위한 효율적인 고해상도 이미지 이해 기술

ERGO는 질의와 장면 문맥으로 중요한 영역을 먼저 찾는 2단계 비전-언어 추론을 제안했습니다. 강화학습 보상 설계로 비전 토큰을 줄이면서 정확도와 실제 지연 시간을 개선했습니다.

#ERGO#VLM#LLM
100

AI

NVFP4란? NVIDIA Blackwell에서 실측한 LLM 추론 효율

Blackwell용 NVFP4의 2단계 스케일링 구조와 LLM 추론 실측 결과를 분석했습니다. RTX PRO 6000에서 A100 대비 최대 2배 처리량과 미미한 정확도 차이를 확인했습니다.

#LLM#NVFP4#NVIDIA
000

AI

지식 증류(Self-distillation)를 활용한 비디오 자기지도학습(Self-supervised Learning) 프레임워크

다음 프레임 예측과 EMA 교사를 결합한 비디오 자기지도학습 프레임워크를 제안했습니다. 광류·객체 추적 없이 ADE20K 분할과 COCO 검출 성능을 높였습니다.

#자기지도학습#지식 증류#DINO
000

AI

SplitQuant: 엣지 AI 기기에서의 신경망 저비트 양자화를 위한 레이어 분할 기법

SplitQuant는 레이어를 클러스터 기반으로 분할해 저비트 양자화의 이상치 영향을 줄였습니다. BERT-Tiny 실험에서 INT2 정확도를 FP32 수준에 가깝게 향상했습니다.

#엣지 AI#양자화#DNN
100

AI

LLaMA-3.2-Vision 경량화를 위한 크로스 어텐션 기반의 시각 정보 축소

크로스 어텐션의 희소성을 활용해 LLaMA-3.2-Vision의 불필요한 시각 토큰을 제거했습니다. 성능을 유지하며 KV 캐시, 메모리 사용량, 추론 지연을 줄였습니다.

#LLaMA#LVLM#크로스 어텐션
000

AI

UniForm: 자원이 제한된 엣지 디바이스에서 효율적인 트랜스포머를 위한 재사용 어텐션 메커니즘

UniForm은 공유 어텐션 행렬로 다중 헤드 어텐션의 중복 계산과 메모리 사용량을 줄였습니다. 엣지 환경에서 정확도와 빠른 추론 속도를 함께 달성한 결과를 소개합니다.

#Transformer#Edge AI#어텐션
000

AI

다국어 대형 언어 모델 생성 텍스트 탐지 연구

미학습 언어에서 성능이 떨어지는 다국어 LLM 생성 텍스트 탐지 문제를 다뤘습니다. 토큰 확률 분포와 의미 임베딩을 결합해 경진대회 3위를 기록했습니다.

#LLM#NLP#다국어 텍스트 탐지
000

AI

대형 언어 모델은 데이터의 애매성을 어디에서 식별할까?

LLM 중간 레이어의 은닉 벡터로 NLU 입력의 애매성을 탐지하는 분류기를 제안했습니다. 최종 레이어보다 높은 탐지 성능을 확인하고, 라벨 부족 대응 학습법을 제시했습니다.

#LLM#NLP#분류
100

AI

모바일 디바이스에 효율적인 비전 언어 모델 배포하기

LLaVA를 Phi-3-mini와 CLIP ViT-B/16 기반 PhiVA로 경량화해 모바일 배포 과정을 설명했습니다. Galaxy 24 Ultra에서 이미지 인코딩 지연 시간을 37초에서 6초로 줄이고 디코딩 속도를 높였습니다.

#VLM#LLaVA#Phi-3
000

AI

향상된 온라인 다중 카메라 인물 추적을 위한 Cluster Self-Refinement

온라인 다중 카메라 인물 추적의 ID 오류를 줄이기 위해 Cluster Self-Refinement를 제안했습니다. 포즈 추정 기반 위치 보정까지 적용해 AI City Challenge 3위를 기록했습니다.

#MCPT#multi-object tracking#Cluster Self-Refinement
000

AI

이미지 가장자리 왜곡에 특화된 도로 객체 탐지

어안 이미지 가장자리의 작은 객체와 왜곡된 비목표 객체 문제를 SAHI·가짜 레이블 학습으로 보완했습니다. 증강·평활화·WBF 결합으로 F1 0.6196을 달성했지만 추론 비용이 큰 한계도 분석했습니다.

#객체 탐지#어안 카메라#SAHI
100

AI

EdgeFusion: 온디바이스 텍스트 기반 이미지 생성

EdgeFusion은 고품질 합성 데이터와 LCM 맞춤 증류로 컴팩트 확산 모델의 생성 품질을 높였습니다. 모델 분할과 W8A16 양자화로 엑시노스 NPU에서 2단계, 1초 이내 생성을 달성했습니다.

#Stable Diffusion#LCM#지식 증류
100

AI

LD-Pruner: Task-Agnostic 인사이트를 활용한 Latent Diffusion Models (LDMs)의 효율적인 가지치기

LD-Pruner는 잠재 표현 변화로 LDM Unet 연산자의 중요도를 평가해 가지치기합니다. 다양한 생성 작업에서 성능 저하를 줄이며 추론 속도와 메모리 효율을 개선했습니다.

#LDM#diffusion#가지치기
000