OpenAI「辣椒芯」干翻英伟达,老黄股价不跌反涨
1 小时前 / 阅读约9分钟
来源:36kr
OpenAI自研芯片「小辣椒」在实测中跑分碾压英伟达Blackwell,能效和时延表现突出。芯片采用台积电N3P工艺,内存为六组HBM4。量产计划2027年逐步爬坡,OpenAI仍会与英伟达合作。

倒反天罡了家人们。

刚刚,OpenAI的自研芯片「小辣椒」,跑分碾压了英伟达最强blackwell。。。

700W的功耗,最高1.9倍的每瓦吞吐,最低低出3.6倍的推理时延。

不是官方PR,这个数据,来自半导体深度研究机构SemiAnalysis,他们受邀到OpenAI实验室实测。

一般来说,第一代芯片并不具有竞争力。

但SemiAnalysis最终得出的结论是——

OpenAI这颗第一代芯片,在几乎所有场景下都能击败Blackwell

低延迟、高吞吐、低并发……全部达到SOTA级别。

据悉,Codex在这一过程中扮演了非常重要的角色,部分AI写的内核,甚至比人类写的性能更好。

也是自进化的一种体现吧。

有趣的是,英伟达股价不仅没跳水,还涨了2.19%。。。

一方面,英伟达有新产品。

是的,被辣椒狙击同一天,英伟达发布了Jetson Orin Nano 2机器人电脑。

另一方面,可能也和OpenAI的态度有关吧。

小辣椒跑分出来后,公司仍然明确表态不会弃用英伟达,训练仍大量用英伟达,且有双方有融资担保的合作。

倒放天罡!OpenAI芯片碾压黑莓

今年6月,OpenAI官宣与博通(Broadcom)合作这颗专为推理打造的芯片,名为「小辣椒」,设计2024年年中启动,从组队到流片只用了约16个月。

8月25日,OpenAI在Hot Chips 2026大会上公开了这颗自研芯片。

与此同时,更多水下的细节,也在冒出。

SemiAnalysis受邀带着自家InferenceX基准套件,到OpenAI实验室当场实测。

结论是,这颗第一代芯片在多个主流开源模型上,击败了它能测到的所有英伟达、AMD和谷歌芯片。

能效是最大亮点。

小辣椒热设计功耗(TDP)只有700W,Blackwell旗舰加速卡则在1200W到1400W。SemiAnalysis实测,它的每千瓦推理吞吐,达到GB200 NVL72、GB300 NVL72机架系统的1.5到1.9倍

时延同样能打。

端到端推理时延,比英伟达记录的GB200 NVL72、GB300 NVL72最佳成绩低1.7到3.6倍,超低时延场景快2.1到4.1倍。

在GB300最快输出速度的设置下,每千瓦吞吐最高高出8.6到104.3倍

跑分模型是三个开源大模型,GPT-OSS 120B、DeepSeek R1 670B和月之暗面Kimi K2.5(1万亿参数)。

低并发下,GPT-OSS和Kimi K2.5达到约1400 token每秒每用户DeepSeek R1在并发1时超过700 token每秒每用户

100 token每秒的低并发点位,Kimi K2.5上的表现是次优芯片的9倍以上。GPT-OSS在同交互度下的每兆瓦吞吐,接近GB200最高吞吐点的两倍,并发1的点位高出50倍

正确性也没落下,GSM8k评测结果与英伟达芯片持平。

不过,口径也要说清楚。

以上成绩全部基于单token预测(STP),没有推测解码,也没有prefill、decode分离,对比的Blackwell成绩则开了多token预测(MTP)。SemiAnalysis说,如果和开多token预测的GB300对比,峰值能效优势会缩到约1.5倍。

跑分数字由OpenAI提供,SemiAnalysis团队在实验室现场验证了InferenceX的跑分过程,但没有跑完整套件,也没有测它更偏好的AgentX,后者覆盖长上下文多轮对话,更接近真实生产负载。

与此同时,SemiAnalysis认为,拿Blackwell对比并不算公平,小辣椒真正要对标的是同样用HBM4的下一代Vera Rubin。

Rubin系统已经开始向客户出货,而小辣椒还只有工程样品。

但目前看来,即便直接对标Rubin,小辣椒也依然能打。

它的单token预测每兆瓦输出吞吐,超过了英伟达和CoreWeave 7月公布的多token预测成绩,也远超GB200在2025年的多token预测结果。

每美元产出两者打平,而Rubin的成绩里用了推测解码,推测解码能把每token成本再降3到5倍。小辣椒还没做推测解码,补上后成本优势会更大。

怎么做到的?

奥特曼,你你你…这速度有点太吓人了啊

2025年11月完成流片(CoWoS封装设计),实际芯片点亮只用了3个月,9个月就拿出A0步进的成绩。

第二版B0步进已经进厂流片,每瓦性能还能再提升约25%

规格上,B0步进采用台积电N3P工艺的单计算die,配N3E工艺I/O chiplet,单die提供13.4 PFLOPS的MXFP4算力,TDP只有700W。

内存是六组HBM4高带宽内存,单封装216GB容量、15.4TB/s带宽,是目前已出货或接近出货的加速卡里最高的,供应商大概率是三星。

软件栈同样关键。内核用Gluon语言编写,它基于Triton,保留SPMD编程模型,但暴露了更底层的抽象。

据悉,这个光速开发的过程中,AI扮演了非常重要的角色。

设计阶段用Codex、GPT-Astra辅助,SIMD单元面积缩减8%,矩阵引擎面积缩减10%。

AI自己写每个内核,部分块的AI内核比人类专家内核快1.5到1.8倍

迭代速度也相当惊人。

8天内并行规模从TP8扩到整机架TP32,不到两周,部分交互度下的吞吐翻了一倍以上。

这里有个彩蛋,OpenAI用Codex把《毁灭战士》移植到了这颗芯片上,能跑36 FPS

讽刺的是,OpenAI跑在英伟达GPU上的模型GPT 5.6 Sol,参与了设计这颗威胁CUDA生态护城河的芯片。

英伟达自己的GPU,正在亲手推动潜在继任者的诞生。

SOTA级别内部AI加持,可能也是OpenAI弯道超车的一种方式吧。

辣椒何时登场

所以,这颗小辣椒,什么时候会正式站上擂台?

答案是,工程样品已就绪。

量产会在2027年逐步爬坡,大部分产出集中在2027年底,下一阶段目标是100MW规模。

承载其的单机架系统叫Vindaloo,装128颗小辣椒,配Katsu CPU主机架和Chana交换机架,两个机架合计功耗约160kW,最多16个机架、2048颗芯片组成一个scale-up域。

部署将和neocloud厂商合作,先收集可靠性数据,再逐步放量。

值得注意的是,OpenAI目前并不打算用小辣椒替代其现有的所有芯片系列,仍然会和英伟达的算力伙伴合作。

但同时,OpenAI也将继续开发第二和第三代芯片

One More Thing

不过,谁能统率好这个辣椒军团,至今还是个问号。

刚刚爆出来,OpenAI数据中心负责人Chris Malone,上周离职了。

The Wall Street Journal 8月25日率先报道,彭博社随后经OpenAI发言人确认。Malone走后没有继任者,职责拆给了多位负责人。

他2025年3月加入OpenAI,正是公司与甲骨文、软银宣布Stargate项目之后不久,负责为高速增长的算力需求建设数据中心。

Stargate开局不顺,OpenAI一度转向向云厂商租芯片,最近又开始恢复自建,方式是整体租下整座设施,而不是租芯片。但据知情人士说,带队的不是Malone。

Malone是这波离职潮中的第4位高管

此前,首席营收官Denise Dresser、首席运营官Brad Lightcap、CEO Altman的副手Fidji Simo都已离开。TheNextWeb统计,4月以来已有7位高层离任或换岗

啧啧啧,上市前数月如此密集的C级高管离职,即使按IPO前夜的标准也属罕见。

小辣椒,好像没有能安心接手的人啊。。。

要不和老黄商量看看,派个人来救火一下?

(bushi)

参考链接:

[1]https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia

[2]https://www.wsj.com/tech/ai/openais-head-of-data-centers-has-left-company-6d24fd83?st=r8H2rW