老黄开源自动驾驶推理模型热搜,吴新宙:英伟达要做「安卓」
5 小时前 / 阅读约12分钟
来源:36kr
英伟达发布最新开源自动驾驶大模型Alpamayo 2 Super,采用VLA架构,强化模型推理能力,引入世界模型和闭环训练体系,旨在成为自动驾驶的安卓,搭建完整技术栈。

黄仁勋,开通个人社交媒体账号整一周,第一次发了一条关于英伟达业务的帖子:

按市值体量计英伟达现在已经超越德国GDP排世界第三,老黄这相当于一个“强国领导人”的发言,分量可想而知——前两条“黄仁勋开源协议”的帖子,已经震动整个科技圈。

而他第一条讲自己公司的贴文,给了英伟达自动驾驶业务吴新宙领导的。

主题是——英伟达最新自动驾驶大模型,开源!开源!还是开源!

吴新宙直白翻译:英伟达要做的就是自动驾驶「安卓」。

英伟达最新开源的自动驾驶世界模型,到底是什么?

自动驾驶行业过去十年的技术路线变化,本质上是在回答同一个问题:

机器如何真正理解现实世界?

早期自动驾驶采用的是模块化路线:车辆通过摄像头、激光雷达等传感器获取环境信息,再经过感知、预测、规划和控制多个模块完成驾驶决策。这套方法工程逻辑清晰,也是过去Robotaxi、车企长期采用的主流方案。

但随着自动驾驶进入更复杂的城市环境,大家逐渐发现,真正困难的问题并不是识别车辆、行人和道路,而是理解复杂场景背后的意图。

人类驾驶员看到路边一个行人,并不会简单判断“这里有一个人”,而是会结合速度、姿态、周围环境推测:“他有没有可能突然进入道路?”

这种基于经验和常识的判断,正是传统算法最难覆盖的部分——

英伟达最新的开源自动驾驶基础大模型——Alpamayo 2 Super正是在这个背景下出现的。

它并不是传统意义上的自动驾驶感知模型,而是一个VLA(Vision-Language-Action,视觉-语言-动作)模型。

所谓VLA,核心变化是让自动驾驶模型不再只是完成“输入视觉信息、输出驾驶轨迹”的黑盒映射,而是增加对环境语义、任务目标和未来变化的理解能力。

简单来说,过去的端到端模型更像:看到前方障碍物 → 生成刹车动作。而VLA模型希望进一步理解:前方是什么障碍物?它为什么出现?未来可能如何运动?当前最合理的驾驶策略是什么?

这也是Alpamayo 2 Super相比此前版本最大的方向变化。

此前的Alpamayo 1.5我们详细解析过,已经开始探索端到端自动驾驶基础模型,通过大规模驾驶数据训练,让模型学习从视觉输入到车辆行为之间的关联。

但1.5阶段更多解决的是“让模型能够驾驶”。

到了Alpamayo 2 Super,重点进一步转向“让模型理解驾驶”

它强化了模型推理能力,让车辆面对复杂场景时,不只是依靠训练数据中的相似案例匹配,而是能够基于当前环境进行更接近人类的判断。

这对于L3/L4自动驾驶尤其重要。

因为自动驾驶真正的难点,从来不是在晴天白天的普通道路上完成跟车,而是在大量无法提前枚举的长尾场景中保持安全。

比如:施工区域临时改变道路规则、车辆突然违规穿插、行人在非预期位置出现……这些场景无法靠无限增加规则解决,只能依靠模型对于物理世界的理解能力。

Alpamayo 2 Super进一步引入世界模型能力,就是为了解决这个长期限制——通过Cosmos系列世界模型,可以基于真实驾驶数据生成新的道路场景,让模型在虚拟环境中经历大量现实中难以采集的情况。

它可以模拟不同天气、光照、道路结构和交通参与者行为,让自动驾驶系统提前面对各种可能发生的未来。

这也是为什么英伟达自动驾驶业务负责人吴新宙强调,自动驾驶未来需要“三台计算机”:

车端推理计算机负责实时驾驶,云端训练计算机负责模型迭代,而仿真计算机负责创造和验证未来世界。

除了世界模型,Alpamayo 2 Super还进一步引入闭环训练体系,通过强化学习环境,模型可以在虚拟驾驶环境中不断尝试、获得反馈并优化策略

因此,Alpamayo 2 Super,可以看成是英伟达在自动驾驶技术范式达成共识、收敛的今天,拿出的第一个完整的技术体系

相比之前开源的Alpamayo版本,Alpamayo 2 Super加强了世界模型的数据驱动能力,以及添加了强化学习的闭环训练体系。

不只是一个更大的自动驾驶模型,而是自动驾驶技术路线的一次迁移。

当然了,这也是英伟达自动驾驶团队,第一次向外界展示跟黄仁勋“物理AI”宏图基座的直接协同关联——支持Alpamayo 2 Super的世界模型,就是老黄在CES上首发、目标理解万事万物的Cosmo 3

以及Cosmos 3本身,也是开源的。

这就意味着,尽管老黄从没说过要成为类似Momenta、华为这样的自动驾驶方案供应商但英伟达已经具备了完整的自动驾驶全栈软硬件能力,距离具体的量产落地,可能就差车型适配这最后的工程化步骤。

最重要的是,自动驾驶模型Alpamayo本身、后端世界模型Cosmos等等,从模型权重、代码、数据工具和评测体系,统统开源。

只要具备基本的AI能力,任何玩家都能基于英伟达的AI软硬件,部署、量产自己的自动驾驶方案

很明显,英伟达想做的,是把竞争焦点正在从“谁拥有更多道路数据”,转向“谁拥有更强的基础模型、更强的世界模型以及更强的训练闭环”。

模型只是表面,背后的AI基础设施才是核心。

吴新宙也第一次明牌:

“可以这么说,英伟达要做的就是自动驾驶的安卓”

自动驾驶的安卓,什么概念?

如果说Alpamayo 2 Super解决的是自动驾驶“大脑”的问题,那么吴新宙展示的,则是英伟达试图搭建的一整套自动驾驶基础设施。

这也是理解英伟达自动驾驶战略的关键:它并不是把目标设定为成为一家Robotaxi运营商,而是希望成为所有自动驾驶系统背后的技术平台——

一个非常明确的判断是,未来自动驾驶竞争不会只发生在车端芯片或者单一算法模型层面,而会围绕三类计算能力展开:车端推理、云端训练和仿真验证。

车端推理计算机负责车辆在真实道路上的实时运行,需要完成感知、决策和控制;云端训练计算机负责大规模数据处理和模型迭代;而仿真计算机则负责构建虚拟世界,让自动驾驶系统在进入真实道路之前,经历尽可能多的测试。

这三个环节共同构成了未来自动驾驶的基础设施。

围绕这一判断,英伟达正在搭建一套完整技术栈。

其中,Hyperion更像是自动驾驶硬件平台,目标是提供标准化计算架构,让车企不需要从零设计整套自动驾驶硬件体系;

Halos OS则承担软件底座角色,把底层芯片、传感器、车辆系统和AI模型连接起来;

Alpamayo系列模型负责提供基础智能能力;

而Cosmos、Omniverse等工具,则解决数据生成和仿真验证问题。

单独看,其中任何一个产品都不是决定性的。

真正重要的是,它们开始形成一个闭环:车辆产生数据,数据进入训练系统,模型通过仿真不断优化,最终部署到车辆端。

这和过去互联网时代的平台逻辑非常类似。一个操作系统之所以有价值,并不是因为它自己开发所有应用,而是因为大量开发者愿意基于它构建生态。

吴新宙所说的“自动驾驶安卓”,核心也是这个意思。

英伟达并不需要自己完成所有自动驾驶应用,而是希望成为车企、Robotaxi公司和机器人企业共同使用的平台。

因此,Alpamayo 2 Super开源的意义也需要放在这个背景下理解:如果英伟达只是希望出售自动驾驶芯片,那么最直接的商业路径是把模型和软件能力封闭起来。

但如果目标是建立生态,那么开放模型反而更有价值,通过降低模型使用门槛,吸引更多开发者和企业进入英伟达体系,最终扩大整个平台的影响力。

这也是英伟达今年反复强调Physical AI的重要原因。

机器人需要理解物理环境,汽车需要在复杂道路中行动,工业设备需要和现实空间交互。这类AI与互联网AI最大的区别在于,它不仅需要生成答案,还必须对现实世界产生影响。

因此,Physical AI需要的不只是一个更大的模型,而是一套连接模型、算力、数据和现实世界的完整体系自动驾驶恰好是其中最成熟、最具代表性的应用场景

它既需要大模型理解环境,也需要强大的计算平台支撑实时运行,还需要世界模型和仿真体系不断训练。

尽管全球大半个自动驾驶圈的硬件,都是黄老爷在贩卖,理应躺赚。

但老黄仍然要做自动驾驶全栈,吴新宙在英伟达做的工作,好像把合作伙伴都变成对手。

现在我们知道,吴新宙在做的,就是帮黄仁勋寻找Physical AI时代第一个能够验证平台能力的入口

英伟达真正的护城河,不是AI本身

英伟达最新市值是5.13万亿美元,已经比整个德国GDP还要高,如果是个国家的话,英伟达现在排名世界第3,紧随G2两个老大哥。

如果只看今天的市场表现,很多人会把英伟达的成功简单归因于一个因素:AI芯片领先。

但这只是结果并非原因。

黄仁勋一直在反复强调:英伟达真正的价值,并不只是制造GPU,GPU只是整个AI基础设施中的一个组成部分。

从更大的视角看,英伟达正在构建的是一套从计算资源到软件生态,再到应用开发的完整体系。

这也是为什么黄仁勋在谈到竞争时,并没有把重点放在单纯的芯片性能比较上。

因为AI时代的竞争,与传统半导体时代已经不同。一家公司即使制造出性能优秀的芯片,也很难直接替代一个已经成熟的计算生态。

CUDA就是最典型的例子。很多人认为CUDA最大的价值是帮助GPU进行计算加速,但更深层的意义在于,它连接了开发者、软件工具、模型框架和硬件架构。

过去十多年,大量AI研究和商业应用都是基于CUDA生态建立起来的。新的模型架构不断出现时,英伟达可以通过软件生态快速适配。这也是为什么很多专用AI芯片虽然在特定任务上具有效率优势,但依然很难完全替代GPU。

AI永恒不变的一点,就是变化速度极快。

今天最流行的大模型架构,可能几个月后就已经被颠覆——这两天你梁叔叔挥舞一把名叫DeepSeek V4 FLash的镰刀收割硅谷,就是最好的例子

因此,能够持续适应变化的平台,比单一场景下的性能优势更重要。

黄仁勋想要打造的最强护城河,不是某一代GPU产品,而是组织整个产业围绕AI方向共同下注的能力。

老黄今年63岁,他在创立英伟达的时候30岁,整整30年都只在干一件事情:把通用计算干不了的活,用专门架构干出来

AI呢,只是这场旅程中偶然遇到的一个大爆点,没有AI浪潮,英伟达大概率也会在传统科学计算领域一枝独秀。

所以与其说GPU,倒不如说是CUDA是老黄最核心的竞争力——所有开发者都必须围绕英伟达GPU开发AI应用。

未来,英伟达希望让汽车企业、Robotaxi公司、机器人企业围绕自己的平台构建Physical AI应用。

而回到自动驾驶,这正是理解吴新宙工作的关键。表面看,吴新宙负责的是英伟达汽车业务。

但从黄仁勋的整体战略看,他做的并不是一个单独的汽车产品线,而是在自动驾驶、以及日后的物理AI时代复制CUDA的生态打法。

它背后的逻辑是:通过开放模型能力,吸引更多参与者进入英伟达生态,再通过硬件、软件、训练和仿真体系形成长期平台价值——

自动驾驶也可以做成一个Agent,开箱即用

2025年开始,老黄通过每一场GTC,每场访谈,把对于AI的思考认知,反反复复公开写在桌面上。

无敌皮衣老黄也有退休的一天,现在在做的,就是把之前的个人信任资产进行某种制度化,把它写进产品节奏,写进开发者生态,写进GTC,写进供应链关系,写进资本合作里。

让全球都明白英伟达怎么想的,为什么这么想,未来会往哪走?这种公开化的认知是英伟达留给后来人最珍贵的遗产。

也是英伟达延续beat and raise的核心动力。

Alpamayo 2 Super项目地址:https://huggingface.co/nvidia/Alpamayo2-Super