백엔드
10억 명 이상의 ChatGPT 사용자를 위한 온라인 스토리지의 빠른 확장
Rapidly scaling online storage to serve over 1 billion ChatGPT users
두줄요약
OpenAI는 Habitat을 전 세계 분산 온라인 스토리지 서비스로 전환했습니다. Python asyncio의 테일 레이턴시를 주요 확장 과제로 다뤘습니다.
핵심 발표
- Python 클라이언트 라이브러리였던 Habitat을 글로벌 분산 온라인 스토리지 플랫폼으로 전환
- 초당 7,000만 건 이상 요청, 주간 10억 명 이상 사용자, 약 40개 지역, 500PB 이상 데이터 지원
주요 변화
- 배포·관측성·플랫폼 개선의 단일 제어 지점을 위해 독립 서비스로 분리
- 스키마 조회, 라우팅, 인가, 암호화, 직렬화, 요청 제어, 연결 풀링을 스토리지 계층에서 추상화
- 중앙화된 접근 제어, 감사 로깅, Azure Cosmos DB 접근 제한으로 데이터 보안·프라이버시 강화
개발자 영향
- 제품 엔지니어의 데이터베이스 관리 부담 감소
- 수십 개 서비스의 클라이언트 배포 조율 및 기능 플래그 기반 변경에 따른 운영 위험 축소
- Python 서비스의 CPU·메모리 비용과 테일 레이턴시 문제 대응 필요
한계·주의점
- Python asyncio의 동시성은 Python GIL에 따른 CPU 병렬성 미제공
- 라우팅·압축·암호화·체크섬·헬스 체크·섀도잉·헤징 작업으로 asyncio 스케줄링 지연 발생 가능
- p99 이상 요청에서 하위 스토리지 응답 이후 코루틴 재스케줄링 대기로 지연 관측
