交互能效达GB300 104倍!OpenAI自研芯片碾压英伟达
1 小时前 / 阅读约9分钟
来源:集微网
OpenAI公布首款自研AI推理芯片Jalapeño,在能效和延迟上超越英伟达GB300,每瓦吞吐量提升1.5至1.9倍,延迟降低1.7至3.6倍。芯片与博通合作开发,9个月完成流片,计划年底部署。

8月25日,OpenA公布了其首款自研AI推理芯片Jalapeño的首批独立基准测试结果,Jalapeño芯片在能效和延迟上超越英伟达GB300,每瓦吞吐量提升1.5至1.9倍,延迟降低1.7至3.6倍。该芯片与博通合作开发,9个月完成流片,计划今年底部署,标志OpenAI正式加入自研芯片行列,将重塑AI算力竞争格局。

Jalapeño测试表现:能效与延迟双超英伟达

在Hot Chips 2026大会上,OpenAI公开的信息显示,在第三方机构SemiAnalysis的InferenceX基准套件上,这款功耗仅700W的专用集成电路在多项关键指标上大幅超越了英伟达功耗高达1400W的GB300旗舰系统。

测试涵盖GPT-OSS 120B、DeepSeek R1和月之暗面的万亿参数模型Kimi K2.5 1T三个公开模型,横跨OpenAI自有架构、第三方推理模型和超大规模参数模型,验证了Jalapeño的通用性。Richard Ho表示:"在我们尝试的这三种模型上,我们证明了该架构不仅适用于内部模型,也适用于其他模型,这是一款通用且非常灵活的加速器。"

核心数据令人瞩目:在混合Token峰值吞吐量上,Jalapeño比竞品高出1.5至1.9倍;每用户峰值解码吞吐量高出2.7至3.8倍;在最考验芯片极限的交互速度点上,Jalapeño的吞吐量可达GB300的104.3倍。端到端延迟降低1.7至3.6倍,极端低延迟场景下性能提升高达2.1至4.1倍。OpenAI还透露,在内部前沿模型测试中,Jalapeño的优势进一步扩大,表明该架构随工作负载增大而更具价值。

虽然Jalapeño额定功率为700瓦,但在所测试工作负载下,实测持续功耗保持在550瓦或以下。若计算每加速器的全部实用电力,Jalapeño为1.18千瓦,GB300为2.55千瓦,差距有所收窄。SemiAnalysis给出极高评价,称其"击败了我们测试过的每一款英伟达、AMD和谷歌芯片"。不过需要指出,Jalapeño并未与英伟达最新Vera Rubin平台进行对比,且无法用于模型训练,而训练正是英伟达的强势领域。测试主要在单令牌预测模式下进行,而英伟达在实际部署中通常使用多令牌预测。

【图表:Jalapeño与英伟达GB300关键性能指标对比图】

九个月流片与全栈自研战略

Jalapeño是OpenAI专为当前及未来大语言模型推理任务从零开始设计的ASIC,主要服务ChatGPT、Codex和OpenAI API。该芯片由OpenAI负责架构设计、博通负责硅片实现与网络硬件、天弘科技负责板卡与机架集成。芯片配备6颗HBM4内存,总容量216 GB,每封装提供15.4 TB/s内存带宽;OpenAI计划以128颗芯片为一组机架部署,可实现1.7 Exaflops的4位计算能力,配备27.5TB HBM4,完整Pod由2048颗芯片组成。此前OpenAI表示,Jalapeño相比典型AI GPU展现出约50%的成本降低。

从项目启动到制造流片仅用9个月,号称高性能ASIC领域最快开发周期之一。行业惯例通常以"年"为刻度计量,OpenAI将这一周期压缩了近三分之二。这一速度得益于OpenAI与博通的深度软硬件协同,以及利用自家AI模型加速设计与优化工作——AI帮助探索实现方案、缩短设计测量和验证循环,还优化了芯片的算术电路。前谷歌TPU核心架构师、现任OpenAI硬件主管Richard Ho是关键人物,他在谷歌近九年间主导了Cloud TPU研发,2021年便在《自然》期刊验证过强化学习辅助芯片布局的方法,如今他当年验证的路径成为OpenAI九个月流片神话的暗线。

Jalapeño从架构层面减少数据搬移,对计算、内存和网络资源做平衡设计。语言模型推理经历预填充(计算密集)和解码(内存带宽受限)等不同阶段,Jalapeño的设计使模型状态可被显式放置并保持本地,系统根据每个推理阶段激活正确的计算、内存和网络组合。它被设计为人类和AI均可编程的清晰目标,使用Codex配合GPT-Astra,团队两个月内将三个非原计划模型提升至高性能水平,AI生成的实现比人类专家手写代码快1.5至1.8倍。

OpenAI与博通的合作始于2024年秋季,计划在未来四年内研发并部署10吉瓦的定制AI芯片及计算系统。博通CEO陈福阳称这是"为AI未来十年铺设物理基础设施"的多代际路线图起点。Jalapeño只是第一代,第二代即将流片,第三代已在概念设计中。OpenAI将自研芯片视为增长引擎:效率越高算力越强,模型越强产品越好,收入越多再投入下一代芯片,形成加速循环。

自研芯片浪潮与产业影响

科技巨头自研芯片趋势已不可逆转。根据灼识咨询数据,按收入计算,2024年英伟达AI加速卡市场份额约76%,AMD约2%,其他厂商合计约22%。

谷歌从2013年开始自研TPU,2025年4月发布第七代Ironwood,峰值算力4614 TFLOPS,内存192GB,带宽7.2 Tbps,是首款专为推理设计的TPU。谷歌TPU自用比例达七成,2023年自用芯片量突破200万颗,成为仅次于英伟达的第二大AI芯片厂商。亚马逊Trainium撑起四成自研份额,其Trainium3在某些方案中客户只需支付H100芯片25%的费用即可获得同等运算能力。Meta部署MTIA v2,微软Maia 200在同等价格下性能高出同类30%。法国Mistral也在考虑开发自有芯片,Anthropic已与三星探讨芯片制造合作。根据高盛预测,非GPGPU芯片出货占比将从2024年的36%增至2027年的45%。

【图表:2024年全球AI加速卡市场份额分布图】

市场增长惊人。根据Counterpoint Research数据,AI ASIC市场规模将从2024年120亿美元增至2027年300亿美元,年复合增长率34%。高盛预测,2026年ASIC占AI芯片比例将升至40%,2027年突破45%,几乎与GPU平分秋色。TrendForce预估,2026年ASIC服务器出货增速将达44.6%,远超GPU服务器的16.1%。Bloomberg Intelligence则预计ASIC市场到2033年将达1200亿美元,复合增速27%。

【图表:2024至2027年AI ASIC市场规模增长趋势图】

Jalapeño对产业影响深远。推理成本下降将直接惠及终端用户——ChatGPT高峰期排队、长对话变慢等问题有望改善,深度研究、高级数据分析等功能可能下放给免费用户。自研芯片增强OpenAI对英伟达的议价能力,在英伟达面临美国司法部反垄断调查的背景下意义尤为突出。HBM供应紧张成为新瓶颈——三星、SK海力士和美光的HBM产能已预售至2027年,SK海力士CEO警告2027年将是最紧张的一年,美光表示HBM消耗晶圆面积约为同等容量DDR5的三倍。

挑战与展望

Richard Ho表示Jalapeño将于2026年底小规模部署,2027年扩大规模。被问及是否对外出售芯片时,他表示OpenAI内部计算需求巨大,目前难以获得足够芯片。分析机构Wedbush提醒大规模商用尚需多轮设计迭代。英伟达护城河依然深厚——CUDA生态成熟,季度收入约922亿美元,数据中心收入约857亿美元。就在一周前(8月17日),英伟达刚同意为OpenAI提供高达1050亿美元融资。Richard Ho说:“英伟达是很好的合作伙伴,我们依然需要大量英伟达芯片。该战略还包括合作伙伴英伟达、Cerebras等。”

Jalapeño落在英伟达最敏感的推理市场。训练集群使英伟达成为每个AI实验室都需要的公司,而推理是下一场争夺的焦点——最大客户拥有足够规模来评估定制芯片能否节省成本。OpenAI不需要Jalapeño替代每颗英伟达GPU,只需处理足够推理工作以削弱英伟达对增长最快运营成本的定价能力。英伟达也正从芯片公司转型为AI基建公司,通过抢购带电土地和变电站定义"AI工厂"这一新物种——当电取代芯片成为AI扩张的第一约束条件时,谁握着变电站和输电线路,谁就握着算力的开关。

写在最后

Jalapeño的突破标志着AI芯片竞争进入新阶段。OpenAI以9个月完成流片、以700瓦功耗超越1400瓦竞品的表现,证明了全栈自研模式的可行性和效率。AI算力的下一场战役,将从单卡算力比拼演变为电力、地皮、芯片、网络和生态的全栈竞争。