데브옵스
OpenAI가 대규모 환경에서 저지연 음성 AI를 제공하는 방법
How OpenAI delivers low-latency voice AI at scale
두줄요약
OpenAI는 대규모 저지연 Voice AI를 위해 WebRTC를 relay와 transceiver로 분리했습니다. Kubernetes 환경의 포트 확장성과 세션 상태 고정 문제를 완화했습니다.
핵심 발표
- 실시간 Voice AI를 위한 WebRTC 스택을 relay + transceiver 아키텍처로 재설계
- 클라이언트의 표준 WebRTC 동작을 유지하면서 내부 패킷 라우팅 구조 변경
주요 변화
- WebRTC 세션 상태를 transceiver가 전담하고, relay가 미디어 패킷 라우팅 분리
- 세션당 포트 할당 방식 대신 작고 고정된 공개 UDP 표면 지향
- ICE·DTLS의 상태 보존과 세션 소유 transceiver로의 패킷 전달 목표
개발자 영향
- ChatGPT voice와 Realtime API의 WebRTC 엔드포인트, 연구 프로젝트를 지원하는 Go·Pion 기반 transceiver
- 음성 입력이 진행되는 동안 전사·추론·도구 호출·음성 생성을 시작할 수 있는 연속 오디오 스트림 활용
- Kubernetes 환경의 오토스케일링·재스케줄링과 대규모 UDP 포트 범위 운영 간 충돌 완화
한계·주의점
- relay + transceiver 구조에서 미디어 경로에 전달 홉 1개 추가
- relay와 transceiver 사이의 맞춤형 조정 필요
