모든 태그
태그

추론 기술 블로그 글

추론 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

최근 30일 2개 · 많이 쓴 회사 노타·삼성·가비아

전체 15개최신 15개 표시
홈에서 필터

추론 글을 많이 쓴 회사

최신 게시글

15개 표시

AI

LLM은 꼭 한 토큰씩 답해야 할까

확산형 언어모델의 병렬 토큰 예측·반복 정제 방식과 블록 생성, 토큰 편집을 설명했습니다. 도입 시 TPS뿐 아니라 첫 응답 지연, 품질, 비용을 같은 조건에서 비교해야 합니다.

#LLM#Gemini#RAG
2400

AI

Control Room: 연구 인프라 전반의 모델 워크로드 추적 및 중단을 위한 중앙 시스템

Control Room: A central system to track and stop model workloads across our research infrastructure

OpenAI가 연구 모델 워크로드를 추적·중단하는 Control Room을 공개했습니다. 추론 계층의 권한 확인과 fail-closed 방식으로 안전 중단을 강화합니다.

#Control Room#추론#모니터링
100

AI

양자화란? AI 모델 양자화의 개념·원리·종류 쉽게 이해하기 (INT8·FP8·NVFP4)

AI 모델 양자화의 비트 축소 원리와 INT8·FP8·NVFP4 포맷 차이를 설명합니다. 메모리 절감 효과와 정확도·하드웨어·캘리브레이션의 고려 사항을 다룹니다.

#LLM#양자화#추론
200

AI

증류 공격에 대한 방어 강화

Strengthening our defenses against distillation attacks

Anthropic이 Claude의 불법 증류 공격 방어를 강화해 데이터 수집량을 약 90~99% 줄였다고 밝혔습니다. 추론 접근 제한과 분류기, 반복 시도 차단을 함께 적용했습니다.

#Claude#추론#distillation
300

기타

[데이터센터 입문 시리즈] AI 질문이 닿는 곳 데이터센터

AI 질문은 네트워크와 데이터센터를 거쳐 GPU 추론 후 응답으로 돌아오는 물리적 과정입니다. 질문 한 번의 전력은 작지만 누적되면 데이터센터의 전력과 냉각 과제를 크게 키웁니다.

#데이터센터#GPU#추론
2300

AI

ChatGPT의 GPT‑5.6 Sol 개선 및 무료 사용자의 GPT‑5.6 Luna 접근 확대

Improving GPT‑5.6 Sol in ChatGPT—and expanding access to GPT-5.6 Luna for free users

ChatGPT가 Plus·Pro용 GPT‑5.6 Sol의 정확성과 응답 일관성을 개선했습니다. Free·Go에는 GPT‑5.6 Luna와 무제한 텍스트 채팅, Think 버튼을 확대 제공합니다.

#ChatGPT#GPT-5.6 Sol#GPT-5.6 Luna
000

AI

두 가지 설정으로 ARC-AGI-3 벤치마크 점수를 3배 높인 방법

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

GPT‑5.6 Sol은 retained reasoning과 compaction으로 ARC-AGI-3 점수를 13.3%에서 38.3%로 높였습니다. 출력 토큰은 약 6배 줄었으며, Responses API 사용을 권장했습니다.

#ARC-AGI-3#GPT-5.6 Sol#Responses API
100

AI

OpenAI와 Broadcom, LLM 추론 최적화 칩 Jalapeño 공개

OpenAI and Broadcom unveil LLM-optimized inference chip

OpenAI와 Broadcom이 LLM 추론용 맞춤형 AI 칩 Jalapeño를 공개했습니다. 초기 배포는 2026년 말이며 기가와트 규모 확장을 계획합니다.

#LLM#추론#Broadcom
000

AI

[GTC 2026 총정리] 1조 달러 추론 경쟁의 시작 : 빈틈을 메우는 노타

GTC 2026의 핵심 흐름을 추론 효율, 에이전틱 AI, 피지컬 AI 관점에서 정리했습니다. 데이터센터와 엣지 환경의 조건별 AI 최적화 과제를 짚었습니다.

#NVIDIA#추론#AI 에이전트
100

AI

기지국에 딱 맞는 AI모델: On-Site Training과 추론 가속화

AI-RAN 시대를 대비해 기지국 내 AI 모델의 추론 가속화와 On-Site Training을 연구하는 글입니다. 엣지 환경에 맞는 모델 적용과 현장 학습 가능성을 다룹니다.

#LLM#추론#모니터링
1300

AI

하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축

하이퍼엑셀은 EC2 F2 인스턴스와 FPGA를 활용해 LPU 기반 LLM 추론 환경을 클라우드로 구축했습니다. PoC 운영 시간을 크게 줄이고 비용과 보안 부담도 낮췄습니다.

#LLM#추론#FPGA
4300

AI

LLaMA-3.2-Vision 경량화를 위한 크로스 어텐션 기반의 시각 정보 축소

크로스 어텐션의 희소성을 활용해 LLaMA-3.2-Vision의 불필요한 시각 토큰을 제거했습니다. 성능을 유지하며 KV 캐시, 메모리 사용량, 추론 지연을 줄였습니다.

#LLaMA#LVLM#크로스 어텐션
100

AI

지연 시간 순삭! LLM 추론 구조와 효율적 애플리케이션 설계 / if(kakaoAI)2024

LLM 시퀀스 생성 구조를 분석해 애플리케이션 지연 시간을 줄이는 방안을 소개합니다. 캐릭터 페르소나 구현 경험을 바탕으로 실시간 응답 성능 최적화 전략을 공유합니다.

#LLM#추론#성능
200

AI

Snowflake Arctic의 기술적 진보

Snowflake가 기업 중심 LLM Arctic을 오픈소스로 공개하고, 낮은 훈련비용과 높은 성능을 강조했습니다. Dense-MoE 하이브리드 구조와 FP8 양자화로 추론 효율도 개선했습니다.

#LLM#MoE#양자 컴퓨팅
1700

AI

축약된 LLM: 대형 언어 모델을 위한 간단한 깊이 가지치기 방법

트랜스포머 블록을 제거하는 깊이 가지치기로 LLM 추론 비용과 지연을 줄였습니다. 소규모 배치 환경에서 너비 가지치기보다 빠른 생성 속도와 경쟁력 있는 성능을 보였습니다.

#LLM#가지치기#Transformer
000