백엔드
코어 덤프 역학: 18년 된 버그를 해결한 방법
Core dump epidemiology: fixing an 18-year-old bug
두줄요약
OpenAI는 대규모 코어 덤프 분석으로 Rockset의 희귀 크래시 원인을 추적했습니다. 하드웨어 손상과 GNU libunwind의 18년 된 경쟁 조건을 구분해 발견했습니다.
핵심 발표
- 대규모 코어 덤프 분석으로 Rockset 서비스의 희귀 인프라 크래시 원인 규명
- 단일 원인으로 보였던 현상이 Azure 호스트의 무음 하드웨어 손상과 GNU libunwind의 18년 된 경쟁 조건이라는 두 문제로 확인
주요 변화
- 소수의 코어 덤프를 수동 조사하는 방식에서 전체 크래시 집단을 분석하는 방식으로 전환
- 코어 파일 접두사 다운로드, 레지스터 추출, 로그 기반 알려진 거짓 양성 제외, 크래시 유형 자동 라벨링 파이프라인 구축
- 텍스트 로그 검색 대신 코어 덤프의 상태 정보를 활용한 고품질 데이터셋 구성
개발자 영향
- 손상되거나 누락된 스택 트레이스만으로는 스택 손상 크래시의 정확한 분류에 한계
- 희귀 크래시는 개별 사례의 심층 분석뿐 아니라 하드웨어 SKU·리전·커널 버전·릴리스별 집단 패턴 분석 필요
- C++의 메모리 안전성 부재에 따른 비정상 메모리 접근과 크래시 추적의 복잡성
