LLM으로 프롬프트 실전 성능 평가하기 \:\ feat. Prometheus 2 & OpenAI API
프롬프트 성능을 정량적으로 평가하는 방법을 Prometheus 2와 OpenAI API 실습으로 소개했습니다. 문맥 평가는 강점이지만 최신 사실 검증은 도구별 한계가 있어 반복 평가가 필요합니다.
#LLM#prompt
58005분
필터 1
NVIDIA GPU Operator로 GPU 모니터링 PoC 구축하기
AWS GPU 스팟 인스턴스와 EKS로 GPU 모니터링 PoC를 구축하는 과정을 정리했습니다. NVIDIA GPU Operator, Prometheus, Grafana로 GPU 메트릭을 수집하고 시각화했습니다.
#NVIDIA GPU Operator#Kubernetes
50005분
신뢰성 향상을 위한 SLI/SLO 도입 2편 - 플랫폼 적용 사례
OBS 플랫폼에 SLI/SLO를 도입해 공용 미디어 플랫폼의 신뢰성을 측정하고 운영에 활용한 사례를 공유했습니다. 로그 기반 메트릭 수집과 Recording Rules로 대시보드 성능을 개선하고 알람 체계를 구성했습니다.
#SRE#SLI
25005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (1부)
Ingress Nginx Controller의 Prometheus metric 수집 병목 현상을 다루는 글입니다. 원인 분석과 해결 방향을 정리한 1부입니다.
#Prometheus#Ingress Nginx Controller
24005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (2부)
Ingress Nginx Controller의 Prometheus 메트릭 병목 현상을 분석한 글입니다. 대용량 트래픽 환경에서의 원인과 해결 방향을 다뤘습니다.
#Prometheus#nginx
20005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
#Kafka#Kubernetes
37005분
Prometheus 3.0으로 갈아타기 (feat. prometehus 3.0 업그레이드 가이드)
Prometheus 3.0의 주요 기능 개선과 변경 사항, 마이그레이션 시 주의점을 정리했습니다. 업그레이드 전 쿼리와 설정을 점검할 체크리스트도 함께 제시했습니다.
#Prometheus#OpenTelemetry
18005분
MinIO와 K8S로 구축하는 사내 스토리지 서비스 ‘OS’ 구축
MinIO와 Kubernetes로 사내 오브젝트 스토리지 서비스를 구축한 과정을 정리했습니다. S3 호환성과 확장성을 바탕으로 보안, 비용, 운영 효율을 개선했습니다.
#MinIO#Kubernetes
35005분