OpenAI憋了许久的第一颗自研推理芯片Jalapeño，终于把真实跑分甩出来了。

战绩非常炸裂。以前做AI硬件总要在吞吐量大和响应速度快之间二选一，Jalapeño一套架构直接全拿下，不仅每度电能处理更多的任务，吐字速度也大幅跃升。

实测推理跑分：全面压制英伟达，通测三个开源大模型

为了验证实际表现，OpenAI在SemiAnalysis的公开基准测试InferenceX上对Jalapeño进行了全面评估。测试覆盖了从高吞吐量到超低延迟的高交互场景，并以每单位功耗所能完成的AI有效工作量作为核心对比标准。

在测试的模型阵列中，不仅包含了GPT-OSS 120B，还直接拉来了DeepSeek R1（670B）以及Kimi K2.5 1T进行跨团队实测：

能效比提升：在峰值吞吐量下，Jalapeño每瓦处理的AI任务量英伟达GB200/GB300的1.5至1.9倍。

GPT-OSS测试:对比GB200跑分

DeepSeek R1测试:对比GB300跑分

延迟大幅降低：端到端延迟降低了1.7至3.6倍。

高交互场景：在对实时性要求极高的工作负载中，性能达到了对比系统的2.1至4.1倍。

超大模型表现：在测试的最大公开模型Kimi K2.5上，Jalapeño实现了约1.5倍的峰值每瓦性能提升，端到端延迟降低了3.4倍。

Kimi K2.5测试:对比GB300跑分

功耗方面，Jalapeño的额定功率为700瓦，但在实际测试的高负载运行中，持续功耗一直维持在550瓦或更低水平。OpenAI在内部前沿模型上的测试还显示，随着模型规模变大、任务变难，这颗芯片的领先优势还会进一步扩大。

软硬件全栈协同设计

Jalapeño在立项之初就确立了核心目标：构建专门服务于现代与未来语言模型（特别是交互式智能体）的硬件系统。

大语言模型推理通常分为不同阶段。处理提示词的预填充阶段属于计算密集型，逐字生成回复的解码阶段则严重受限于内存带宽。芯片之间的数据搬运与通信也会引入额外延迟，导致计算单元空闲等待。

针对这些痛点，Jalapeño从芯片、内存、网络、软件到机架级系统进行了整套协同设计。架构对数据搬运与通信延迟进行了极小化处理，包括KV缓存（KV Cache）在内的模型状态可以显式放置在本地。通过其大域互联网络，整个推理任务得以在一个完整的互联系统内运行，避免了跨资源搬运数据造成的性能损耗，灵活适应智能体场景中预填充与解码平衡频繁变化的特征。

用AI造芯片，再让AI来写代码

AI技术直接参与了Jalapeño的完整研发流程。借助AI探索实现方案、缩短设计验证闭环并优化算术电路，团队从最初设计到完成流片仅用了9个月时间。

同时，Jalapeño被设计成一个对人类和AI都极具可预测性的编程目标。工程师通过本地张量、显式通信和可预测同步来描述任务，AI则负责优化计算映射、放置、调度和跨系统协同，大幅降低了并行编程的复杂度。

借助Codex与GPT-Astra(OpenAI即将发布的新模型)，团队在短短两个月内就将三款原定计划外的开源大模型优化到了高水平运行状态。在GPT-OSS的部分注意力机制和专家混合（MoE）模块中，AI自动生成的实现代码比人类专家编写的代码速度快了1.5到1.8倍。

年底正式部署，二代三代已在研发

Jalapeño的落地将直接提升OpenAI的算力使用效率，让算力和业务收入的增长快于服务成本的增长。

这一架构重塑了推理的能效分级：

1.极速模式推理达到了过去快速模式的能效水准。

2.快速模式推理达到了过去批处理模式的能效水准。

3.批处理模式推理的能效进一步提升。

OpenAI计划在今年年底前将Jalapeño正式部署到自家的计算基础设施中。这个芯片是一个长期芯片平台的开端，目前第二代产品正在深入研发，第三代产品也已初具雏形。

OpenAI同时表示，为了满足不断增长的算力需求，团队将继续在训练和推理任务中大规模部署英伟达等合作伙伴的加速硬件。目前团队正推进Jalapeño的生产认证、软件成熟化、规模化运维准备以及更多模型的性能验证工作。