데브옵스
OpenAI에서 Git 확장하기
Scaling Git at OpenAI
두줄요약
OpenAI는 Codex 시대의 병렬 개발 수요에 맞춰 Git 호환 백엔드 Pando를 구축했습니다. 브랜치별 쓰기와 packfile 재사용으로 push 지연 시간을 약 5배 낮췄습니다.
핵심 발표
- Codex 환경의 동시 개발 규모에 맞춘 Git 호환 리포지터리 백엔드 Pando 구축
- OpenAI 모노레포의 모든 개발 작업에 Pando 적용
주요 변화
- 브랜치별 독립 업데이트를 통한 서로 무관한 브랜치 푸시의 병렬 처리
- 개별 클라이언트용 packfile 생성 대신 fetch 간 packfile 재사용
- 캐시 기반 읽기 확장과 네트워크 대역폭 포화를 목표로 한 데이터 전송
개발자 영향
- 기존 Git 프로토콜과 클라이언트 호환성 유지로 기존 워크플로 전환 부담 축소
- 운영 환경 중앙값 push 지연 시간 약 5배 감소
- 하루 거의 1페타바이트의 Git 데이터 전송
한계·주의점
- 여러 브랜치를 조회하는 리더에서 브랜치별 서로 다른 시점의 상태 관측 가능
- packfile 재사용 방식에서 클라이언트가 이미 보유한 객체의 재다운로드 가능
