[GTC 2026 총정리] 1조 달러 추론 경쟁의 시작 : 빈틈을 메우는 노타

구조와 흐름

• AI 워크로드 증가의 배경으로 에이전트의 반복 추론·도구 호출과 토큰 소비 확대 제시
• 데이터센터를 토큰 생산량·비용·전력 효율로 평가하는 AI 팩토리 관점
• GPU 기반 프리필과 LPU 기반 디코드의 역할 분리를 통한 단계별 추론 최적화

성능/운영 포인트

• 달러당·와트당 토큰 수를 중심으로 한 추론 인프라 경쟁력 평가
• 긴 문맥 처리, KV-cache 관리, Prefix Caching 기반 에이전트 효율화
• 로보틱스·자율주행에서 지연 시간 통제와 실환경 검증의 중요성

트레이드오프

• 엔비디아 스택 내부의 수직적 최적화와 파편화된 엣지 환경 제약 사이의 간극
• 시뮬레이션 기반 합성 데이터 확장과 실제 환경 성능 검증의 차이
• 에이전트 자율성 확대와 엔터프라이즈 보안·가드레일 요구의 공존

적용해볼 점

• 칩·전력·메모리·지연 시간 조건별 모델 경량화와 하드웨어 맞춤 최적화
• Sim-to-Real 파이프라인에서 실시간 반응성과 안전성 검증 체계 강화