데브옵스
Prometheus 모니터링 실무 적용기 2탄
두줄요약
Prometheus와 Grafana로 Kubernetes의 Pod·Node 리소스 대시보드를 구성했습니다. 메모리 급증 알림과 Worker Node 자원 현황을 운영 대응에 활용했습니다.
구조와 흐름
- Prometheus PromQL로 CPU·Memory·Network 사용량, Pod·Node 상태, Uptime 지표 산출
- Grafana 변수로 namespace·배포 Pod·Node를 선택하고 행 단위 그래프 표시
- 대형 모니터용 대시보드에 핵심 사용량·Pod 수량·Node 디스크 및 메모리 지표 선별
문제 상황
- Pod가 Running 상태지만 특정 Pod의 메모리 사용률이 급격히 상승하는 간헐적 서비스 이상
- Worker Node 자원 부족으로 Pod가 Pending 상태에 머무는 운영 초기 문제
해결 방법
- 메모리 사용량 기준 Grafana Alert와 Slack 알림으로 24시간 이상 징후 탐지
- 전체 Worker Node 자원 현황과 개별 Node별 Pod 리소스 사용량 대시보드 구성
- 자원 부족 시 다른 Node 배포 또는 Node 증설 판단 근거 활용
주의할 점
- Pod의 반복 생성·삭제로 고정 Pod 이름 대신
kube_deployment_metadata_generation기반 변수 목록 활용 - Grafana Alert 대상 Prometheus Query의 변수 사용 제약으로 알림 전용 대시보드와 고정값 Query 분리
