AI
장애 Alert의 원인을 스스로 찾다: SRE Observer 개발기
두줄요약
Alert를 자동으로 묶고 근본 원인까지 분석하는 SRE Observer 개발 과정을 소개했습니다. 근거 기반 가드레일과 승인 경계로 과신을 막고 대응 자동화를 설계했습니다.
핵심 내용
- Alert 수신부터 상관분석, AI 기반 RCA, 위험도 판단, 대응, 지식 축적까지 잇는 자동 대응 파이프라인 SRE Observer 개발기
- 세 가지 상관분석 축(Temporal, Topology, Semantic)으로 노이즈 Alert를 하나의 Incident로 묶고, 가설-주도 RCA와 Evidence Ledger로 근거를 누적해 원인 판단
- 근거 기반 가드레일과 승인 경계로 LLM의 과신을 막고, 사람 승인 없이 가능한 1차 대응과 승인 후 실행하는 2차 대응을 분리
- 도입 결과 초기 Alert 노이즈 85~95% 차단, 평균 MTTR 50% 단축
