[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩
에이전틱 AI 확산에 따라 LLM 추론 최적화 기술과 추론 전용 칩의 중요성이 커졌습니다. 양자화, KV 캐시 압축, LPU·TPU 활용으로 비용과 지연 시간을 함께 줄이는 방향을 정리했습니다.
#LLM#양자 컴퓨팅#cache
2500
![[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fr7Zo2%2FdJMcaazxBXX%2FAAAAAAAAAAAAAAAAAAAAAKjlLaht-QL9amPzlzS8OljsKVZqu-AqFePdVhweT39g%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1788188399%26allow_ip%3D%26allow_referer%3D%26signature%3D%252Bb%252BJ4fsqNhGOhol4sxGWd9RQ5tU%253D)
태그
양자 컴퓨팅 기술 블로그 글
양자 컴퓨팅 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 22개최신 20개 표시
관련 태그
최신 게시글
20개 표시
Amazon Braket으로 양자-고전 하이브리드 알고리즘 실행하기 (2편)
Amazon Braket의 `@hybrid_job`으로 RX(θ) 회로와 Z 기댓값을 반복 실행하는 하이브리드 알고리즘을 소개했습니다. 일반 실행, 하이브리드 잡, 로컬 잡의 차이와 결과 확인 방법도 함께 정리했습니다.
#AWS#Amazon Braket#양자 컴퓨팅
1300
양자컴퓨터 시대에 대비한 양자내성암호 적용, 왜 10년 먼저 서비스에 적용했을까?
수만 개 가맹점 환경을 고려해 보안 프로토콜을 4년간 단계적으로 고도화했습니다. 양자컴퓨터 위협에 대비해 2026년 양자내성암호를 선제 도입했습니다.
#양자 컴퓨팅#TLS#HTTP
6700
[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4 : 임베딩(Embedding)과 벡터 인덱싱 기술
RAG에서 임베딩과 벡터 인덱싱의 원리, 모델 선정 기준, 최적화 기법을 정리했습니다. 특히 한국어 환경에서는 다국어 적합성과 메모리 비용을 함께 검증해야 한다고 설명했습니다.
#RAG#임베딩#HNSW
9700
![[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4 : 임베딩(Embedding)과 벡터 인덱싱 기술](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fn6a0Z%2FdJMcacWKKeh%2FAAAAAAAAAAAAAAAAAAAAAIdjQntIXbTdvMG54_-sZ7V6TbWffZFi4hNxV3nyIWrO%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1774969199%26allow_ip%3D%26allow_referer%3D%26signature%3DrVslgOQRjGesCsglq1mAxQlFuFo%253D)
Nota AI가 제안하는 AWS Inferentia에서 다양한 LLM 모델 양자화 최적화기법 사용하기
AWS Inferentia/Trainium에서 LLM 양자화 최적화 방법을 소개했습니다.\n민감도 기반 선택적 양자화와 fake quantization으로 메모리를 줄이면서 정확도 손실을 완화했습니다.
#AWS Inferentia#Trainium#LLM
5400
Amazon Braket을 활용한 큐노바컴퓨팅의 양자화학 계산 혁신 사례
큐노바컴퓨팅이 Amazon Braket과 HI-VQE로 양자화학 계산을 하이브리드 방식으로 구현했습니다. 실시간 로그 모니터링과 작업 제어로 운영성을 높이고 화학적 정확도 수준의 결과를 확인했습니다.
#Amazon Braket#양자 컴퓨팅#CloudWatch
2500
Amazon Braket 콘솔 소개 및 Amazon Braket에서 양자 회로를 실행하는 방법 -2
Amazon Braket에서 주피터 노트북을 만들고 로컬 시뮬레이터로 Bell state 회로를 실행하는 방법을 소개했습니다. shot, task 개념과 비용 절감 팁도 함께 설명했습니다.
#AWS#Amazon Braket#양자 컴퓨팅
3000
Amazon Braket 콘솔 소개 및 Amazon Braket에서 양자 회로를 실행하는 방법 -1
Amazon Braket 콘솔에서 디바이스 정보와 QPU 상태를 확인하는 방법을 소개했습니다. IonQ Forte 1의 토폴로지, 캘리브레이션, 네이티브 게이트도 함께 설명했습니다.
#AWS#Amazon Braket#양자 컴퓨팅
2700
양자 컴퓨팅이란 무엇인가? – Part 7: 하이브리드 접근법, 양자 연산이 구현되는 여정
양자 컴퓨팅의 기술적 한계를 보완하는 하이브리드 접근법과 양자 연산의 전체 실행 과정을 설명했습니다. 또한 적용 범위, 실용성, 학습에 필요한 기초 지식을 Q&A로 정리했습니다.
#양자 컴퓨팅#QPU#VQE
3100
양자 컴퓨팅이란 무엇인가? – Part 6: 양자 컴퓨터의 성능지표, 도전 사항, 양자 오류 제어
양자 컴퓨터 성능을 평가하는 지표와 현실적 한계를 정리했습니다. 또한 오류 제어를 QEC, QES, QEM으로 나누어 비교했습니다.
#양자 컴퓨팅#큐비트#결맞음 시간
5400
모델 크기 경쟁을 넘어: MoE가 제시하는 스마트한 AI
LLM의 무작정 큰 모델 경쟁 한계를 짚고 MoE의 구조와 장점을 정리했습니다. 또한 실제 서비스에서 필요한 메모리, 통신, 로드 밸런싱 최적화 포인트를 설명했습니다.
#LLM#MoE#TensorFlow
7400
양자 컴퓨팅이란 무엇인가? – Part 5: QPU
양자 컴퓨터의 핵심 장치인 QPU와 주변 시스템 구조를 설명했습니다. 초전도체, 이온 트랩, 중성원자 플랫폼의 원리와 장단점도 비교했습니다.
#양자 컴퓨팅#QPU#큐비트
4900
양자 컴퓨팅이란 무엇인가? – Part 4: 양자 컴퓨터가 빠르다는 의미, 양자 회로, 양자 연산의 원리
양자 컴퓨터의 빠름은 개별 연산이 아니라 계산 횟수 감소에 있습니다. 양자 회로와 간섭 원리로 정답 확률을 높이는 방식도 함께 설명했습니다.
#양자 컴퓨팅#큐비트#QPU
7000
양자 컴퓨팅이란 무엇인가? – Part 3
양자 컴퓨팅의 핵심 개념인 큐비트, 중첩, 얽힘, 측정을 설명했습니다. 고전 컴퓨터와의 차이와 논리 큐비트의 필요성도 함께 정리했습니다.
#양자 컴퓨팅#큐비트
7100
양자 컴퓨팅이란 무엇인가? – part 2
양자 컴퓨팅이 강점을 보일 수 있는 문제 유형과 산업별 적용 사례를 살펴보았습니다. 또한 생태계 구성과 기반 기술까지 함께 정리했습니다.
#양자 컴퓨팅#Shor’s algorithm#Grover’s algorithm
5200
AWS가 제공하는 클라우드 기반의 양자 컴퓨팅 서비스, Amazon Braket – 3
Amazon Braket을 활용한 양자 연구 지원 프로그램과 산업별 활용 사례를 정리했습니다. 또한 비용 구조와 통제 도구, 초기 학습 및 PoC 시작 방법을 소개했습니다.
#AWS#cloud#양자 컴퓨팅
2900
양자 컴퓨팅이란 무엇인가? – part 1
양자 컴퓨팅과 양자 컴퓨터의 개념, 등장 배경, 역사, 분류를 입문자 관점에서 정리했습니다. 고전 컴퓨터의 한계와 양자 기술 발전을 바탕으로 왜 주목받는지 설명했습니다.
#양자 컴퓨팅#큐비트#NISQ
7100
AWS가 제공하는 클라우드 기반의 양자 컴퓨팅 서비스, 아마존 브라켓 -1
AWS의 양자 컴퓨팅 포트폴리오와 아마존 브라켓의 기본 개념을 소개했습니다. 클라우드 기반 관리형 서비스의 장점과 활용 방식도 함께 정리했습니다.
#AWS#cloud#양자 컴퓨팅
4100
로봇 ML 모델의 경량화 2부: 양자화 인식 훈련
PTQ의 성능 저하 한계를 보완하기 위한 QAT 개념과 원리를 설명했습니다.\nNVIDIA pytorch-quantization으로 QAT를 수행하고 ONNX/TensorRT로 변환하는 절차를 소개했습니다.
#ML#양자 컴퓨팅#QAT
2800
PQC로의 여정: 양자 컴퓨터 시대에 데이터 지키기
양자 컴퓨터가 RSA와 ECC 같은 기존 암호를 위협하는 이유와 PQC 전환의 필요성을 설명했습니다. 하이브리드 모드로 단계적 전환을 준비해야 한다는 점도 정리했습니다.
#PQC#양자 컴퓨팅#RSA
3900
