데브옵스
쿠키런: 킹덤 AWS AZ 장애 아웃라인
두줄요약
AWS 도쿄 리전 AZ 장애로 쿠키런: 킹덤의 DB 노드 일부가 동시 장애를 겪었습니다. 백업과 비상 복구 절차, Locality 재설계로 유저 데이터 유실 없이 복구했습니다.
문제 상황
- 쿠키런: 킹덤 런칭 1달 이내 AWS 도쿄 리전 AZ 장애로 다수 DB 노드 동시 장애 발생
- CockroachDB 분산 구조에도 불구하고 60대 중 6대 이상 손상으로 일부 Range 유실 발생
- 멀티 AZ 대비와 복구 절차가 충분히 준비되지 않은 상태
원인 분석
- AWS 도쿄 리전 데이터센터 냉각 시스템 고장으로 서버 과열 발생
- 게임 서버보다 DB 노드가 장애 범위에 포함되어 영향 확대
- Kubernetes 배포와 Helm 차트 구성상 AZ 단위 Locality를 사전에 반영하지 못한 구조
해결 방법
- 생존한 노드에서 깨지지 않은 데이터만 우회 추출해 새 테이블로 이관
- 주기적 백업 데이터로 복구 시도
- CockroachDB의 unsafe-remove-dead-replicas 명령으로 소실 Range 일부 복구
적용해볼 점
- 멀티 AZ와 Locality를 전제한 DB 배포 설계 필요
- 백업 복구와 비상용 복구 절차의 사전 검증 필요
- 중요 서비스는 클라우드 장애를 가정한 방어 전략 마련 필요