네이버 뉴스 서비스가 장애를 예방하는 방법 - 카오스 엔지니어링

문제 상황

• CDN, nbase-arc 같은 외부 관리 인프라 의존으로 장애 상황 직접 재현이 어려운 환경
• 주요 장애 지점인 nbase-arc를 실제 다운 없이 테스트할 필요성
• 프로세스 재실행 시 별도 팀 지원이 필요해 반복 테스트가 느리고 불편한 제약

원인 분석

• 실제 인프라 장비에 장애를 주입하기 어려운 구조
• 네트워크 결함을 모사할 수 있는 테스트 수단의 부재

해결 방법

• Toxiproxy로 애플리케이션과 인프라 사이에 프록시를 두고 네트워크 결함 주입
• HTTP 요청으로 proxy 생성 및 enabled 제어를 통해 장애 상황 재현
• ZooKeeper, nbase-arc Redis 게이트웨이, 로컬 캐시 복구 경로를 포함한 테스트 환경 구성

적용해볼 점

• 외부 의존성이 큰 서비스일수록 장애 주입 기반 검증 필요
• 운영 중 실제 장애를 기다리지 않고 복구 경로와 기대 형상 사전 확인 가능