![Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [2부: GPU 한 장의 처리량과 지연 SLO]](https://d2908q01vomqb2.cloudfront.net/2a459380709e2fe4ac2dae5733c73225ff6cfee1/2026/09/09/thumbnail-2-1121x630.png)
Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [2부: GPU 한 장의 처리량과 지연 SLO]
Amazon EKS의 GPU 한 장에서 Gemma 4 31B를 vLLM으로 서빙할 때의 처리량과 지연 SLO 최적화 결과를 정리했습니다. NVFP4, prefix caching, speculative decoding, priority 스케줄링의 효과와 서빙 풀 분리 기준을 제시했습니다.
#AWS#Amazon EKS
4000
국내 IT 기업 기술 블로그 최신 글
필터 0
![Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [1부: 콜드 스타트 최적화]](https://d2908q01vomqb2.cloudfront.net/2a459380709e2fe4ac2dae5733c73225ff6cfee1/2026/09/09/thumbnail-1-1119x630.png)
Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [1부: 콜드 스타트 최적화]
Amazon EKS에서 vLLM으로 Gemma 4 31B 서빙의 콜드 스타트를 단계별로 최적화한 사례입니다. S3 직결 로더, 캐시 영속화, sleep mode로 시작 시간과 GPU 비용을 줄였습니다.
#Amazon EKS#LLM
2500
구성원 인터뷰 - 광고 스쿼드 PO 대원님
포스타입 광고 스쿼드가 매출과 이용자 경험을 함께 보며 광고 수익화를 확장하는 방식을 소개했습니다. 신업종 개척과 AI 기반 데이터 분석 자동화로 성장 속도를 높인 점이 핵심입니다.
#광고#UI/UX
2900
App Router의 장점은 우리에게도 장점일까요?
App Router와 RSC의 장점을 실제 서비스에 적용해 검토했지만, 전환과 운영 비용이 더 크다고 판단했습니다. 토스뱅크는 일부 이득보다 안정성과 기존 기능 호환성을 우선해 Pages Router를 유지하기로 했습니다.
#Next.js#React Server Components
13100
신규 입사자도 쉽게 찾는 Confluence, 스페이스에 필요한 메뉴를 한눈에!
Confluence 문서가 있어도 신규 입사자가 위치를 찾지 못하는 온보딩 문제를 다뤘습니다. 스페이스별 상단 메뉴로 공통·팀별·개인별 접근 경로를 구성하는 방법을 제안합니다.
#Atlassian#Confluence
100
KCSCON 2026 현장 스케치 — AI 시대, 조직이 마주한 보안 과제는? | 제14회 사이버보안 콘퍼런스, 파수 AI
KCSCON 2026 현장 스케치 — AI 시대, 조직이 마주한 보안 과제는? | 제14회 사이버보안 콘퍼런스, 파수 AI
KCSCON 2026에서 AI 시대 조직이 마주한 보안 과제를 다뤘습니다. 내부 AI와 외부 AI 서비스 확산에 따른 보안 이슈를 제기했습니다.
#보안#컨퍼런스
500
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
저는 채널 엔지니어링 팀의 세션 샤낭꾼입니다
데브세션 문화가 자발적 참여만으로 유지되기 어려워, 콘텐츠를 계속 발굴하는 운영 방식이 필요했다고 설명합니다. 발표와 질문을 통해 개발자의 구조화·이해·문제 분해 역량을 키우는 문화적 의미를 정리합니다.
#문화#세미나
6100
사내 LLM 요청을 한곳으로 모은 AI Gateway 구축기
Envoy AI Gateway로 사내 LLM 호출을 중앙화하고 모델 등급 라우팅과 사용량 추적을 구축했습니다. GitOps·관측성 기반 운영으로 모델 교체를 단순화하고 LLM 비용을 약 78% 절감했습니다.
#LLM#Envoy AI Gateway
1200
AWS로 구현한 Internet Gateway가 없는 연구환경, 신뢰연구환경(TRE) 솔루션 NDS AI·RE
의료·유전체 민감데이터를 위한 신뢰연구환경 TRE를 AWS로 구현한 사례를 소개했습니다. Internet Gateway 없는 격리망, Air-lock, AI Core, IaC로 보안과 연구 효율을 함께 높였습니다.
#AWS#ML
1700
주식회사 SEGA, 소규모 팀으로 「Sonic Rumble Party」 글로벌 출시를 위한 Amazon DynamoDB 및 Amazon ElastiCache Serverless for Valkey 활용 사례
SEGA가 소규모 팀으로 글로벌 GaaS를 운영하기 위해 DynamoDB와 ElastiCache Serverless를 도입한 사례를 소개했습니다. 단일 테이블 설계와 캐시 최적화로 운영 부담과 비용을 줄이고 안정적인 성능을 확보했습니다.
#DynamoDB#ElastiCache
1700
![[데이터센터 입문 시리즈] AI 질문이 닿는 곳 데이터센터](https://static.gabia.com/www/common/gnb/gabia_logo_1200.jpg){kind=logo}
[데이터센터 입문 시리즈] AI 질문이 닿는 곳 데이터센터
AI 질문은 네트워크와 데이터센터를 거쳐 GPU 추론 후 응답으로 돌아오는 물리적 과정입니다. 질문 한 번의 전력은 작지만 누적되면 데이터센터의 전력과 냉각 과제를 크게 키웁니다.
#데이터센터#GPU
2300
한꺼번에 짊어지던 배치를 내려놓고, 하나씩 흘려보내는 워크플로로
한꺼번에 짊어지던 배치를 내려놓고, 하나씩 흘려보내는 워크플로로
Temporal 도입 부담을 줄이기 위해 기존 인프라 위에 Flowkit이라는 자체 워크플로 라이브러리를 만들었습니다. 배치로 처리하던 접수지연 알림을 주문 단위 워크플로로 바꾸고, 재시도와 멱등성 정책도 선언적으로 다뤘습니다.
#Kotlin#Spring WebFlux
2900
그 메뉴 어디 갔어요? Atlassian이 또 이름을 바꿨습니다
Atlassian Cloud의 Jira·Confluence 메뉴 재배치와 Project→Space 용어 변경 사례를 정리했습니다. 플랜·환경별 기능 차이를 고려한 사내 문서 관리 방법을 제안합니다.
#Atlassian#Jira
000
세션을 채우는 고민에서, 더 재밌게 만드는 고민으로
데브 세션이 5년 넘게 이어진 운영 디테일과 문화의 변화를 소개했습니다. 발표자 부담을 줄이고 아카이브와 보상 체계를 쌓아, 채우는 세션에서 더 재밌는 세션으로 확장했습니다.
#Kubernetes#Docker
4400