
(图片来源: Tom's Hardware)
OpenAI的新型Jalapeño ASIC正在内部与AMD EPYC Turin主机系统搭配部署,每台主机系统都配备了高达1.5TB的内存。SemiAnalysis详细介绍了Jalapeño的机架级部署情况。在芯片发布后,我们采访了OpenAI负责硬件的副总裁兼主管Richard Ho。Ho透露,选择Turin是出于“务实”的考虑,他表示英伟达的新型Vera CPU在“成熟度方面稍显欠缺”。
“我们在设计时,首要考虑的是降低风险并确保设计能够迅速完成。Vera作为一款独立产品,其成熟度尚显不足。而Turin设备性能卓越,完全能够满足我们的需求,且我们的合作伙伴对其有着丰富的经验,”Ho在接受Tom’s Hardware Premium采访时表示。“在Jalapeño项目中,我们始终秉持务实的决策原则。我们追求性能和成本目标的卓越,但绝不愿承担不必要的风险。这一决策看起来非常明智,完全符合我们设计决策的参数范围。”
当前市场上,基于Arm架构的CPU层出不穷,许多都已在不同的超大规模数据中心中得到应用,如Google Cloud的Axiom和AWS的Graviton。然而,Vera和Arm自家的AGI被视为智能CPU,据称它们能够加速智能循环中的复杂推理,相较于AMD和英特尔的x86对应产品具有优势。我们询问Ho对此的看法,以及在OpenAI与英伟达紧密合作的情况下,为何会选择Turin。他给出了上述回答。
Arm长期宣扬AArch64 ISA相较于x86的优势,甚至声称其AGI CPU的性能是现代x86平台的两倍有余。不过,这一说法仅基于内部估算,并未经过实际基准测试的验证。尽管Arm对AGI在市场上的前景持乐观态度,但分析师指出,即便有高达20亿美元的承诺资金支持,两年后其市场渗透率仍将仅为个位数。
英伟达宣称Vera的性能领先幅度高达1.8倍。然而,这一数据是通过将SPEC CPU 2026的整体得分按核心划分得出的。实际上,Vera仅领先3%。(图片来源:英伟达)
随着今年服务器CPU需求的迅猛增长以及智能工作负载的不断演变,英伟达在宣传中将其基于Arm的Vera与x86竞争对手进行了对比,大胆宣称其性能比AMD的Turin芯片提升了1.8倍;这一数据来源于整体基准测试套件,结果显示Vera仅比AMD的EPYC 9755领先3%。
从Graviton到Azure的Cobalt,众多半定制Arm设计都聚焦于云工作负载的核心密度和效率。而Vera和AGI则转向强调峰值性能。在Vera的早期基准测试中,英伟达的CPU表现令人瞩目。然而,我们尚未目睹该芯片在各种工作负载中的实际表现,更别提与AMD即将推出的Venice CPU或英特尔的Diamond Rapids进行基准对比了。
有趣的是,OpenAI之所以选择Turin,不仅因为它是Arm的AGI部署合作伙伴之一,还因为它是英伟达所称的“探索Vera CPU”的客户之一。OpenAI、其他前沿实验室以及超大规模数据中心在其设备中均配备了多样化的硬件。具体而言,将Jalapeño与Turin搭配使用是为了降低风险。Ho特别指出了该平台的成熟度优势。
总体来看,x86_64架构相较于AArch64更为成熟。尽管ARM自20世纪80年代中期便已问世,但其适当的64位扩展却是在x86引入12年后才推出的。尽管Arm在过去二十年里已逐渐渗透至数据中心领域,但x86的基础依然更为深厚,可追溯至数十年前。
然而,Ho的评论似乎并未特别针对AArch64和x86之间的差异。相反,他的评论更多地聚焦于Turin和Vera之间的动态关系,后者是英伟达首次进军数据中心定制CPU核心领域的尝试。尽管Vera的早期基准测试结果令人印象深刻,但对于OpenAI的机架级Jalapeño部署而言,它仍然代表着不必要的风险。
Ho关于OpenAI的合作伙伴对Turin有着丰富经验的评论,也揭示了硬件团队的思考逻辑。Turin和Vera在主机系统的实用性上存在一定差异,其中最显著的是Vera采用板载安装方式,而Turin芯片则是插座式设计。尽管在服务器中更换芯片并不常见,但使用Turin无疑会更加便捷。
鉴于OpenAI拥有多种可用的硬件选择,未来Jalapeño可能会与不同的主机系统搭配部署,甚至可能与Arm的AGI或英伟达的Vera携手合作。不过,就目前而言,Turin无疑是正确的选择。
在Google新闻中关注Tom's Hardware,或将其添加为优选来源,以获取我们最新的新闻、分析和评测。
