백엔드
입사 첫날에 36시간 점검 경험하기
두줄요약
쿠키런: 킹덤 출시 직후 발생한 대규모 장애를 신입 입사자의 시점에서 회고한 글입니다. 데이터 이주와 정합성 검증을 통해 서비스를 복구한 과정을 담았습니다.
문제 상황
- 쿠키런: 킹덤 출시 직후 대규모 이용자 유입으로 로그 적재 파이프라인과 데이터베이스 클러스터에 부담이 집중된 상황
- 데이터는 남아 있었지만 데이터베이스 클러스터가 이를 인식하지 못해 서비스 점검이 장기화된 장애 상황
원인 분석
- 출시 직후 폭증한 로그와 데이터 처리량으로 인프라 부하가 크게 증가
- 데이터베이스 레벨에서 데이터 인식 문제가 발생해 정상 서비스가 어려운 상태
해결 방법
- AWS 및 CockroachDB 엔지니어와 함께 화상회의를 열어 복구 방향을 논의
- CockroachDB 스토리지 레이어의 sst 파일을 csv로 변환한 뒤 Spark로 대용량 데이터 병합 및 신규 클러스터 이주
- 데이터 정합성 점검과 내부 테스트를 거쳐 서비스 재오픈 전 상태 검증