데브옵스
Resource Monitoring Tool with Prometheus + Grafana
두줄요약
Prometheus와 Grafana로 GPU 클러스터 리소스를 수집·시각화하는 구성을 소개했습니다. Python 커스텀 exporter로 GPU 점유율 등을 보고하고 수집 주기별 부하를 고려했습니다.
구조와 흐름
- Prometheus로 리소스 보고자 데이터를 주기적으로 수집·저장하고 PromQL로 조회하는 구성
- Grafana를 Prometheus 데이터 소스에 연결해 시계열 지표를 대화형 대시보드로 시각화
- Python
python-prometheus-client기반 커스텀 exporter가 HTTP 포트로 GPU 지표 제공
선택 이유
- GPU 클러스터의 유휴 리소스 최소화와 효율적인 자원 할당을 위한 관측 기반 마련
- 원하는 클러스터 리소스만 선택적으로 수집·시각화하는 방식
성능/운영 포인트
scrape_interval,evaluation_interval과 exporter 실행 주기로 수집 빈도 조절- 수집 주기에 따른 시스템 부하 고려
- GPU 개수, 점유율, 전력 소비량, 활용률 등 지표 확장 가능
적용해볼 점
nvidia-smi결과를 Gauge로 변환해 전체 GPU 수와 사용 중인 GPU 비율 보고- PromQL 조회와 실시간 관측을 바탕으로 유휴 자원 확인 및 신규 인원 자원 할당 자동화 검토
