데브옵스
셀프 호스팅 Grafana 알림으로 AWS DevOps Agent의 인시던트 자동 조사 시작하기
두줄요약
셀프 호스팅 Grafana Webhook으로 AWS DevOps Agent의 자동 인시던트 조사를 구성했습니다. OAM·IAM 분리와 단계별 검증으로 멀티 계정 환경의 조사 흐름을 점검합니다.
구조와 흐름
- Grafana Alert Rule → Webhook Contact Point → AWS DevOps Agent 인시던트 생성 → Grafana·CloudWatch·배포 이력 상관 분석 → RCA 리포트 전달
- 알림 전송용 Webhook 시크릿과 Grafana API 조회용 Viewer Service Account Token의 인증 목적 분리
- 프라이빗 Grafana 조회를 위한 Private Connection과 읽기 전용 Grafana 연동
선택 이유
- Webhook Contact Point로 Alert 발생 시 DevOps Agent 자동 조사 시작 가능한 셀프 호스팅 Grafana 선택
- Amazon Managed Grafana의 직접 HTTP POST 미지원 및 30일 Service Account Token 만료 제약 회피
- 토큰 만료 정책 자율 관리 대신 토큰 교체와 Grafana 보안 패치의 운영 책임
해결 방법
- Notification Template의 incident 페이로드와 Bearer 인증 Contact Point 구성
- 기존 Slack·PagerDuty 경로 유지를 위한 Notification Policy 중첩 및 Continue matching 설정
- 멀티 계정 지표·로그 조회용 OAM Sink·Link 구성과 리소스 직접 조사용 보조 계정 IAM 역할 분리
주의할 점
- Grafana 12.0 이상, TLS 1.2 이상, Viewer 최소 권한과 CloudWatch 조회 IAM 권한 필요
- Webhook 시크릿의 일회성 표시와 Rotate 직후 이전 시크릿 무효화
- curl 직접 호출, Contact Point 테스트, 항상 firing되는 테스트 Alert Rule 순의 단계적 검증과 테스트 규칙 삭제
