추측이 아닌 데이터로: 3개 서비스 27개 SLO와 54개 모니터를 설정하고 배포 자동화까지 구축한 2주의 집중 작업

문제 상황

• 3개 서비스의 성격이 달라 공통 기준의 모니터링 적용이 어려운 상태
• HTTP 상태 코드 기반 SLO가 오탐을 만들고 실제 비즈니스 실패를 놓치는 측정 오류
• 정기 배포 때마다 일시적 오류가 Error Budget을 소진해 SLO가 깨지는 문제

원인 분석

• 성공 판정 기준을 HTTP 2xx로만 두어 클라이언트 오류와 서버 장애를 구분하지 못한 점
• 배포 중 발생하는 계획된 지연을 장애로 취급해 누적 지표가 왜곡된 점
• 경험 기반 임계값 설정으로 실제 응답 시간 분포와 어긋난 수치가 들어간 점

해결 방법

• APM error 태그 기반으로 성공률 측정 방식 전환
• 90일 APM 데이터 분석으로 임계값과 Burn Rate를 데이터 기반 설정
• ArgoCD Hook과 Datadog API로 SLO Correction을 배포 시작/종료에 맞춰 자동화

성능/운영 포인트

• 3개 서비스에 27개 SLO, 54개 모니터 표준화
• 오탐 알림 0건 달성, 배포 중 Error Budget 자동 보호
• 장애 분석 시간과 오탐 대응 시간, 온보딩 시간 절감

적용해볼 점

• 측정 정확도를 먼저 점검하고 필요하면 지표 정의부터 재설계
• 추측 대신 운영 데이터를 기반으로 임계값 설정
• 배포와 관측 도구를 연동해 계획된 작업의 지표 왜곡 자동 보정