이 게시물은 Host Level 카오스 엔지니어링 테스트 결과와 교훈을 정리한 글입니다.

핵심 내용

• Host Level 테스트 정의와 목적: 인프라(서버, DB, 메시지 큐, 캐시) 차단으로 복원력 검증
• QA 역할 강화: 고객 관점 시나리오 기반 기능 및 데이터 정합성 검증, 인프라·개발·운영 협업
• 발견된 주요 패턴: 시스템은 살아있어도 고객 경험 훼손, 캐시 TTL 약 5분의 방어 효과, 복구 후 데이터 정합성 문제
• 테스트 방식: 완전 차단과 노드 단위 Failover 테스트, AWS 콘솔로 서비스 중지 후 영향·복구·사후검증 진행
• 대응 조치 요약: 장애 감지·알림 구축, 자동 복구·이중화 강화, 복구 후 정합성 검증 API 도입, 정기 테스트 프로세스 정착