![[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fr7Zo2%2FdJMcaazxBXX%2FAAAAAAAAAAAAAAAAAAAAAKjlLaht-QL9amPzlzS8OljsKVZqu-AqFePdVhweT39g%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1788188399%26allow_ip%3D%26allow_referer%3D%26signature%3D%252Bb%252BJ4fsqNhGOhol4sxGWd9RQ5tU%253D)
[기술동향] LLM 추론 최적화 핵심 기술: 양자화, KV 캐시, 추론 칩
에이전틱 AI 확산에 따라 LLM 추론 최적화 기술과 추론 전용 칩의 중요성이 커졌습니다. 양자화, KV 캐시 압축, LPU·TPU 활용으로 비용과 지연 시간을 함께 줄이는 방향을 정리했습니다.
#LLM#양자 컴퓨팅
2500
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Amazon Braket으로 양자-고전 하이브리드 알고리즘 실행하기 (2편)
Amazon Braket의 `@hybrid_job`으로 RX(θ) 회로와 Z 기댓값을 반복 실행하는 하이브리드 알고리즘을 소개했습니다. 일반 실행, 하이브리드 잡, 로컬 잡의 차이와 결과 확인 방법도 함께 정리했습니다.
#AWS#Amazon Braket
1300
양자컴퓨터 시대에 대비한 양자내성암호 적용, 왜 10년 먼저 서비스에 적용했을까?
수만 개 가맹점 환경을 고려해 보안 프로토콜을 4년간 단계적으로 고도화했습니다. 양자컴퓨터 위협에 대비해 2026년 양자내성암호를 선제 도입했습니다.
#양자 컴퓨팅#TLS
6700
![[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4 : 임베딩(Embedding)과 벡터 인덱싱 기술](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fn6a0Z%2FdJMcacWKKeh%2FAAAAAAAAAAAAAAAAAAAAAIdjQntIXbTdvMG54_-sZ7V6TbWffZFi4hNxV3nyIWrO%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1774969199%26allow_ip%3D%26allow_referer%3D%26signature%3DrVslgOQRjGesCsglq1mAxQlFuFo%253D)
[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4 : 임베딩(Embedding)과 벡터 인덱싱 기술
RAG에서 임베딩과 벡터 인덱싱의 원리, 모델 선정 기준, 최적화 기법을 정리했습니다. 특히 한국어 환경에서는 다국어 적합성과 메모리 비용을 함께 검증해야 한다고 설명했습니다.
#RAG#임베딩
9700
Nota AI가 제안하는 AWS Inferentia에서 다양한 LLM 모델 양자화 최적화기법 사용하기
AWS Inferentia/Trainium에서 LLM 양자화 최적화 방법을 소개했습니다.\n민감도 기반 선택적 양자화와 fake quantization으로 메모리를 줄이면서 정확도 손실을 완화했습니다.
#AWS Inferentia#Trainium
5400
Amazon Braket을 활용한 큐노바컴퓨팅의 양자화학 계산 혁신 사례
큐노바컴퓨팅이 Amazon Braket과 HI-VQE로 양자화학 계산을 하이브리드 방식으로 구현했습니다. 실시간 로그 모니터링과 작업 제어로 운영성을 높이고 화학적 정확도 수준의 결과를 확인했습니다.
#Amazon Braket#양자 컴퓨팅
2500
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
Amazon Braket 콘솔 소개 및 Amazon Braket에서 양자 회로를 실행하는 방법 -2
Amazon Braket에서 주피터 노트북을 만들고 로컬 시뮬레이터로 Bell state 회로를 실행하는 방법을 소개했습니다. shot, task 개념과 비용 절감 팁도 함께 설명했습니다.
#AWS#Amazon Braket
3000
Amazon Braket 콘솔 소개 및 Amazon Braket에서 양자 회로를 실행하는 방법 -1
Amazon Braket 콘솔에서 디바이스 정보와 QPU 상태를 확인하는 방법을 소개했습니다. IonQ Forte 1의 토폴로지, 캘리브레이션, 네이티브 게이트도 함께 설명했습니다.
#AWS#Amazon Braket
2700
양자 컴퓨팅이란 무엇인가? – Part 7: 하이브리드 접근법, 양자 연산이 구현되는 여정
양자 컴퓨팅의 기술적 한계를 보완하는 하이브리드 접근법과 양자 연산의 전체 실행 과정을 설명했습니다. 또한 적용 범위, 실용성, 학습에 필요한 기초 지식을 Q&A로 정리했습니다.
#양자 컴퓨팅#QPU
3100
양자 컴퓨팅이란 무엇인가? – Part 6: 양자 컴퓨터의 성능지표, 도전 사항, 양자 오류 제어
양자 컴퓨터 성능을 평가하는 지표와 현실적 한계를 정리했습니다. 또한 오류 제어를 QEC, QES, QEM으로 나누어 비교했습니다.
#양자 컴퓨팅#큐비트
5400
모델 크기 경쟁을 넘어: MoE가 제시하는 스마트한 AI
LLM의 무작정 큰 모델 경쟁 한계를 짚고 MoE의 구조와 장점을 정리했습니다. 또한 실제 서비스에서 필요한 메모리, 통신, 로드 밸런싱 최적화 포인트를 설명했습니다.
#LLM#MoE
7400
양자 컴퓨팅이란 무엇인가? – Part 5: QPU
양자 컴퓨터의 핵심 장치인 QPU와 주변 시스템 구조를 설명했습니다. 초전도체, 이온 트랩, 중성원자 플랫폼의 원리와 장단점도 비교했습니다.
#양자 컴퓨팅#QPU
4900
양자 컴퓨팅이란 무엇인가? – Part 4: 양자 컴퓨터가 빠르다는 의미, 양자 회로, 양자 연산의 원리
양자 컴퓨터의 빠름은 개별 연산이 아니라 계산 횟수 감소에 있습니다. 양자 회로와 간섭 원리로 정답 확률을 높이는 방식도 함께 설명했습니다.
#양자 컴퓨팅#큐비트
7000
양자 컴퓨팅이란 무엇인가? – Part 3
양자 컴퓨팅의 핵심 개념인 큐비트, 중첩, 얽힘, 측정을 설명했습니다. 고전 컴퓨터와의 차이와 논리 큐비트의 필요성도 함께 정리했습니다.
#양자 컴퓨팅#큐비트
7100