AI
Jalapeño 초기 결과: AI 추론 속도와 효율성에서 업계 최고 수준
Jalapeño’s first results show industry-leading speed and efficiency in AI inference
두줄요약
OpenAI가 맞춤형 추론 칩 Jalapeño의 처리량·지연 시간·전력 효율 측정 결과를 공개했습니다. 연말부터 자사 컴퓨팅 인프라에 배포를 시작할 계획입니다.
핵심 발표
- OpenAI의 첫 맞춤형 추론 칩 Jalapeño의 처리량·지연 시간·전력 효율 측정 결과 공개
- 단일 아키텍처에서 높은 처리량과 낮은 지연 시간 동시 달성
- 다세대 플랫폼의 첫 세대이며 Gen 2 개발 진행, Gen 3 구상 단계
연구 방법·결과
- SemiAnalysis의 공개 벤치마크 InferenceX에서 상용 AI 시스템과 비교
- GPT‑OSS 120B, DeepSeek R1, Kimi K2.5 1T 전반에서 최대 처리량 기준 와트당 AI 작업량 1.5~1.9배, 종단 간 지연 시간 1.7~3.6배 감소
- Jalapeño 정격 700 watts, 테스트 워크로드에서 측정된 지속 전력 550 watts 이하
주요 변화
- prefill·decode 단계별 병목을 고려한 컴퓨팅·메모리·네트워크·랙 규모 시스템 공동 설계
- KV cache를 포함한 모델 상태의 명시적 로컬 배치와 데이터 이동 최소화
- Codex와 GPT‑Astra로 2개월 내 3개 오픈 웨이트 모델 고성능 지원, 선택된 GPT‑OSS 블록에서 AI 생성 구현의 1.5~1.8배 빠른 실행
사용 방법·가용성
- 연말까지 OpenAI 컴퓨팅 인프라 내 Jalapeño 배포 시작 계획
- 생산 검증, 소프트웨어 성숙화, 대규모 운영 준비 및 추가 모델 성능 검증 진행