네이버 검색 SRE - 지진과 비상 대응 시스템

문제 상황

• 지진 재난문자 이후 짧은 시간에 검색 트래픽이 급증하는 비상 상황
• 수백 개 서비스와 하위 계층의 영향도를 빠르게 파악해야 하는 운영 부담

원인 분석

• 재난 상황은 평상시 트래픽 증가와 달리 매우 빠른 피크 도달 패턴
• 수동 판단만으로는 이상 탐지와 대응 속도가 부족한 구조

해결 방법

• 지표 수집 주기를 1분에서 10초로 단축한 별도 트래픽 모니터링
• 평시 피크 대비 n배 초과 시 비상 모드 자동 발동과 캐시 만료 연장
• IC, IO가 수동으로 캐시 연장·재시도 횟수 조절을 수행할 수 있는 UI/UX
• 상위 레벨 모니터링으로 건강도, 영향도, 가용량, 비상 모드 판단 근거 제공

주의할 점

• 너무 민감한 규칙은 불필요한 비상 모드 발동 위험
• 부작용이 큰 수동 동작은 허가된 인원만 접근 가능해야 함