데브옵스
장애 모의 훈련 그리고 배운 점
두줄요약
Hyperconnect SRE팀이 Azar 핵심 컴포넌트를 대상으로 첫 장애 모의 훈련을 진행한 과정을 공유했습니다. 실제형 시나리오와 stage 환경 보강을 통해 완화 우선 대응과 팀 간 지표 공유의 중요성을 확인했습니다.
핵심 내용
- Hyperconnect SRE팀의 첫 장애 모의 훈련 준비와 진행 과정 정리
- Azar 핵심 컴포넌트 대상으로 Elasticache, 매칭 설정 오류, AZ 장애 등 실제형 시나리오 설계
- stage 환경에 추가 컴포넌트, 가상 트래픽, 모니터링 대시보드를 보강해 실전처럼 재현
- 훈련을 통해 완화 우선 대응, 에스컬레이션, 비즈니스 메트릭 중심 판단, 팀 간 지표 공유의 필요성 확인
적용해볼 점
- 실제 상황과 유사한 장애 시나리오와 stage 기반 모의훈련 정례화
- 손상 부위 빠른 파악과 완화 우선의 대응 원칙 정립
- 팀 간 운영 지표와 장애 기록 공유 체계 강화