AI
6개월 만에 반응형 음성 AI를 위한 실시간 시스템을 구축한 방법
How we built a realtime system for responsive voice AI in six months
두줄요약
GPT‑Live는 턴 감지기를 제거하고 음성을 동시에 듣고 말하도록 설계했습니다. Go·WebRTC·상태 유지형 추론으로 연속 대화의 지연과 중단을 줄였습니다.
핵심 발표
- 턴 감지기를 오디오 경로에서 제거한 3세대 음성 시스템 GPT‑Live
- 동시 청취·발화가 가능한 풀 듀플렉스 음성 모델과 비동기 추론·도구 사용 구조
주요 변화
- 미디어 흐름과 애플리케이션·비즈니스 로직의 분리, 비동기 RPC 경계 적용
- Python asyncio 구현을 Go 기반 미디어 프런트엔드와 추론 로직으로 교체
- WebRTC 기반 저지연 전송과 상태 유지형 연속 추론 도입
개발자 영향
- 느린 도구 호출이나 백엔드 서비스가 미디어 흐름을 멈추지 않는 구조
- 모델 인스턴스 병렬 실행·전환을 통한 무중단 핸드오프와 동적 컨텍스트 압축
- GPT‑5.5 등 frontier model 위임 시 세션 사전 준비, 세션 어피니티, 프롬프트 캐싱 활용
한계·주의점
- 장시간 세션의 컨텍스트 증가와 모델 인스턴스 수요 변동에 따른 상태 관리 부담
- 컨텍스트 압축 시 KV 캐시 무효화와 새 prefill로 인한 지연 가능성
