AI
Get Streaming STT Results Faster with RTZR FINALIZE
두줄요약
RTZR Streaming STT의 FINALIZE로 서버 endpoint detection 대기 없이 발화별 최종 전사를 받는 방법을 소개했습니다. 50개 발화 실험에서 중앙값 기준 636.37ms의 지연을 줄였으며, VAD·턴 감지와의 연동을 제시했습니다.
구조와 흐름
- 클라이언트의 발화 종료 판단 직후 동일 스트림에 FINALIZE 전송
- 서버 end-point detection 대기 없이 최종 전사 수신 후 다음 발화 처리
- FINALIZE는 연결을 유지한 채 현재 발화만 확정하고, 전체 입력 종료는 WebSocket EOS·gRPC half-close로 처리
선택 이유
- 자체 VAD 또는 턴 감지기로 서버보다 먼저 발화 종료 판단 가능한 환경
- 콜봇의 제한적 응답 흐름과 음성 에이전트의 VAD·턴 감지 연동
- LiveKit Agents, TEN Framework의 기존 실시간 음성 파이프라인 적용 가능성
트레이드오프
- 짧은 epd_time 설정으로 최종 전사 지연 축소 가능
- 짧은 침묵·머뭇거림을 발화 종료로 오인할 가능성
- 긴 epd_time의 자연스러운 휴지 허용과 증가하는 지연 시간 간 균형
성능/운영 포인트
- 50개 발화 비교에서 FINALIZE 조건의 중앙값 최종 전사 수신 시간 24.24ms, 미전송 조건 702.14ms
- 동일 발화 쌍 비교 중앙값 지연 감소 636.37ms, 50개 전체에서 FINALIZE 조건 우세
- 레이블 EndTime 기반 실험 결과로, 실제 VAD 판단 지연과 오류를 포함하지 않는 측정 범위
