Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례
Amazon Bedrock 위에 LiteLLM 게이트웨이와 사내 포털을 붙여 LLM 키 발급, 승인, 예산 차단을 운영한 사례를 소개했습니다. 셀프서비스 발급과 그룹 기반 통제로 비용과 감사 체계를 함께 묶었습니다.
#Amazon Bedrock#LLM
1700
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Kubernetes 환경 OOMKilled 원인 분석
Kubernetes에서 발생하는 OOMKilled의 원인과 JVM 메모리 구성을 함께 분석했습니다. Heap뿐 아니라 Non-Heap, Off-Heap까지 고려해 JVM 옵션을 조정하는 방법을 정리했습니다.
#Kubernetes#OOMKilled
7500
AI infra
AI infra
AI-Ready Infrastructure를 물리 인프라, 데이터, 조직 준비도의 세 층위로 구분해 정리했습니다. 국내는 물리 인프라에 치우쳐 있어 GPU 운영 서비스화와 인력 전환이 차별화 포인트라고 제시했습니다.
#cloud#Kubernetes
2800
케클s피드 7월호｜AI 데이터센터의 새로운 기준을 말하다
AI 데이터센터와 클라우드 운영 전략을 다룬 뉴스레터였습니다. 전력, 냉각, 네트워크, 플랫폼 고도화와 사례를 폭넓게 소개했습니다.
#cloud#Kubernetes
13300
AI가 방금 짠 코드, 저희 서버에서 돌아갑니다
사용자와 AI가 만든 코드를 운영 서버에서 안전하게 실행하기 위해 별도 Kernel 계층을 설계했습니다. 기존 서비스와 실행 환경을 분리하고 인증정보와 세션 상태를 밖으로 빼는 방향을 정리했습니다.
#Python#Kubernetes
7200
Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면
Grafana Mimir에 Kafka 기반 ingest-storage architecture를 도입한 경험과 운영상의 함정을 정리했습니다. partition과 ingester ordinal의 1:1 결합, backlog replay, scale-in 절차가 핵심 포인트였습니다.
#Grafana Mimir#Kafka
20600
Vizend 구독 기능 설계 구현
Showcase가 자기 자신을 배포 대상으로 삼는 구조에서 발생하는 정합성 문제를 상태 머신과 이벤트 분할로 해결했습니다. 재기동 후 버전 검증과 멱등 발행, GID 기반 식별로 분산 배포의 일관성을 확보했습니다.
#Kubernetes#GitOps
13500
KubeEdge 엣지 노드 장애 대응 가이드
KubeEdge 엣지 노드에서 자주 발생하는 3가지 장애와 대응 방법을 정리했습니다. EdgeStream, 디스크 사용량, DNS 상태를 먼저 확인하는 흐름을 제시했습니다.
#KubeEdge#Kubernetes
1900
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
AWS Graviton 으로 EKS 비용 최적화 하기
EKS 비용 최적화를 위해 AWS Graviton 도입 방법을 정리했습니다. 멀티 아키텍처 이미지를 준비한 뒤 카나리로 점진 전환하는 흐름을 소개했습니다.
#AWS#EKS
1800
![[kt cloud] kt cloud PLATFORM, 공공 클라우드를 위한 차세대 운영 기반](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FykHBf%2FdJMcahed4VP%2FAAAAAAAAAAAAAAAAAAAAAJXFm2YDY6Pi-sd_dwZ9qSZHWnBabVbxLECTf0828cLD%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1785509999%26allow_ip%3D%26allow_referer%3D%26signature%3Dep%252BcrE1Q7irhsdkcKaVsV8L%252BOrU%253D)
[kt cloud] kt cloud PLATFORM, 공공 클라우드를 위한 차세대 운영 기반
공공 클라우드를 위한 kt cloud PLATFORM의 운영 구조와 주요 장점을 소개했습니다. 멀티 리전, 보안 체계, AI 인프라 확장성을 통해 안정성과 확장성을 함께 강조했습니다.
#OpenStack#Kubernetes
1100
인프라 접근 권한도 코드로: Teleport로 구현하는 Access as Code
인프라 접근 권한을 코드로 관리하는 Access as Code 개념과 판단 기준을 정리했습니다. Teleport로 SSH, Kubernetes, DB, 앱 권한을 하나의 role과 Git 흐름으로 운영하는 방법을 설명했습니다.
#Teleport#제로트러스트
1300
VictoriaMetrics 운영기 2편 — 장비 증설 없이 리소스 위기를 해결한 3단계 최적화 전략
VictoriaMetrics 운영기 2편 — 장비 증설 없이 리소스 위기를 해결한 3단계 최적화 전략
쿠버네티스 전환으로 커진 VictoriaMetrics 리소스 문제를 조회·저장·수집 세 레이어로 나눠 최적화했습니다. 쿼리 분할, 보관 기간 축소, 수집 대상 축소로 장비 증설 없이 안정화했습니다.
#VictoriaMetrics#Kubernetes
39500
![[기술검증] 물리 서버는 그대로, Kubernetes는 새 버전으로: Cluster API In-place Upgrade](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FbQUeUX%2FdJMcaixohDj%2FAAAAAAAAAAAAAAAAAAAAABE8WRGRV2HGT0sQ_Z0ZyGdLNuwFNjastOLZ3bYohGWc%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1785509999%26allow_ip%3D%26allow_referer%3D%26signature%3DnGfIJyO%252FDsajqPD8Volunq8ics4%253D)
[기술검증] 물리 서버는 그대로, Kubernetes는 새 버전으로: Cluster API In-place Upgrade
물리 서버 환경에서 Cluster API와 BYOH Provider로 In-place Upgrade를 구현하고 검증했습니다. Rolling Upgrade와 병행해 인프라 제약에 맞는 업그레이드 전략을 확보했습니다.
#Kubernetes#Cluster API
1400
Kiro 에이전트와 Harness Engineering: LGU+ Knowledge-based Mass Migration 자동화
LGU+의 대규모 AWS 마이그레이션에서 Kiro와 Harness Engineering으로 전환 작업을 표준화했습니다. 설정 자동화와 지식 자산화를 통해 개발자 편차를 줄이고 재사용성을 높였습니다.
#AWS#Kubernetes
19500