AI
Responses API에서 WebSockets로 에이전트 워크플로 가속하기
Speeding up agentic workflows with WebSockets in the Responses API
두줄요약
Responses API의 WebSocket 모드가 연결별 캐시로 에이전트 워크플로를 최대 40% 가속했습니다. 기존 `response.create`와 `previous_response_id`로 증분형 대화 처리를 지원합니다.
핵심 발표
- Responses API의 WebSocket 모드로 에이전트 롤아웃 종단 간 최대 40% 가속
- GPT‑5.3‑Codex‑Spark의 1,000 TPS 목표 달성 및 최대 4,000 TPS 버스트
주요 변화
- 연결 범위 메모리 캐시와
previous_response_id기반 이전 응답 상태 재사용 - 전체 대화 기록 대신 새 입력만 검증·처리하는 증분형 요청 처리
- 렌더링된 토큰, 도구 정의·네임스페이스, 모델 라우팅 결과 재사용
- 후속 요청과 청구 등 비차단 추론 후 작업 중첩
개발자 영향
- 기존
response.create요청 본문과 상호작용 형태 유지 - Vercel AI SDK 최대 40%, Cline 다중 파일 워크플로 39%, Cursor의 OpenAI 모델 최대 30% 지연 시간 감소
사용 방법·가용성
- WebSocket 연결에서
response.create와previous_response_id사용 - 코딩 에이전트 스타트업 대상 알파 운영 후 출시