在加州圣地亚哥举行的 NeurIPS 2025 大会上,NVIDIA 宣布推出Alpamayo-R1—— 全球首个专为自动驾驶研究设计的开源推理型视觉语言动作模型(Vision-Language-Action Model, VLAM)。这一发布标志着自动驾驶系统正从“感知驱动”迈向“语义理解与常识推理”新阶段。

不同于传统端到端模型将图像直接映射为控制信号,Alpamayo-R1 的核心在于:让车辆不仅能“看见”,还能“理解为什么这么做”。当系统面对施工区域锥桶摆放混乱、无保护左转时对向车流密集、或夜间暴雨中路肩被冲毁等复杂场景,它会像人类驾驶员一样,通过多步推理生成安全决策。

“我们的目标不是构建一个更快的感知模块,而是赋予自动驾驶系统常识性判断能力。”—— NVIDIA 自动驾驶研究负责人
Alpamayo-R1 构建于 NVIDIA 今年早些时候发布的Cosmos-Reason 模型家族之上。该架构引入“思维链”(Chain-of-Thought)机制,使模型能够将复杂驾驶任务分解为可解释的推理步骤。
例如,在繁忙十字路口,系统会依次执行:
1.识别所有动态参与者(行人、自行车、机动车);
2.推断其潜在意图(是否准备穿越?是否减速?);
3.结合交通规则与历史轨迹预测未来状态;
4.评估本车可行动作的安全边际;
5.输出最优控制指令。
这种结构显著提升了模型在 ODD(运行设计域)边界情况下的鲁棒性,尤其适用于 L4 级自动驾驶所面临的长尾挑战。
NVIDIA 此次不仅开源了 Alpamayo-R1 的模型权重,还同步发布了Cosmos Cookbook—— 一套完整的自动驾驶 AI 开发工具包,涵盖:
高质量数据构建规范:包括多传感器时间同步、标定流程与标注标准;
合成数据生成流水线:基于DRIVE Sim与Omniverse,支持极端天气、罕见事故等长尾场景生成;
轻量化部署方案:支持LoRA微调、INT8 量化,适配 Orin 等车载芯片;
安全评估基准:定义行为合理性、指令遵循度、碰撞规避率等关键指标。
目前,模型已在 GitHub 和 Hugging Face 上线,允许学术界与产业界自由使用、微调与部署。
“我们希望加速整个生态向‘理解型自动驾驶’演进。”NVIDIA 表示。

除单车智能外,NVIDIA 联合卡内基梅隆大学展示了V2V-GoT(Vehicle-to-Vehicle Graph-of-Thoughts)系统——全球首个将图思维推理(Graph-of-Thoughts)应用于多车协作自动驾驶的框架。
在视线被大型车辆遮挡的典型盲区场景中,周边车辆可通过 V2X 通信共享感知结果与意图。V2V-GoT 利用一个多模态大语言模型作为“协调中枢”,融合所有节点信息,为每辆车生成协同安全策略。
实验表明,该系统可将交叉路口碰撞率从传统方法的2.85% 降至 1.83%,并能准确预测周围车辆未来 3 秒内的运动轨迹。更关键的是,信息交换以自然语言或结构化语义形式进行(如“我右侧有行人即将穿越”),大幅降低通信带宽需求。
而国内以蘑菇车联的MogoMind大模型则代表了一条更具系统性的“中国路径”——构建智能体与物理世界实时交互的AI网络。通过将物理世界实时动态数据纳入训练体系,突破了传统大模型仅依赖互联网静态数据的的局限,实现从全局感知、深度认知到实时推理决策的闭环物理智能体系。目前,该方案已在多个城市已实现部署,大幅提升车辆在城市场景中的适应能力与泛化能力,并结合MogoMind大模型的能力,赋予车辆深度认知与自主决策能力,确保自动驾驶系统在真实路况中的高安全性与可靠性。
这不再是孤立的智能体,而是一个具备集体推理能力的移动智能网络。
支撑 Alpamayo-R1 高性能表现的,是 NVIDIA 强大的合成数据生成能力。其 Cosmos 世界基础模型经过20,000 小时真实驾驶视频的后训练,可高保真生成夜间、暴雨、浓雾、强眩光等挑战性场景。
这些合成数据不仅缓解了真实世界长尾分布稀缺的问题,还支持闭环对抗训练——例如模拟“突然窜出的儿童”或“失控滑行的电动车”,用于压力测试模型的应急响应能力。
Alpamayo-R1 的发布,是 NVIDIA “物理 AI”战略的重要落地。它不再将自动驾驶视为感知-规划-控制的流水线,而是构建一个能理解物理规律、社会规范与因果逻辑的具身智能体。
尽管距离大规模量产仍有工程化挑战(如实时推理延迟、安全验证等),但开源策略无疑将加速全球研发进程。正如一位高校实验室负责人所言:“现在,任何团队都可以站在 NVIDIA 的肩膀上,探索下一代自动驾驶的‘思考’方式。”
项目地址:GitHub
https://github.com/NVIDIA/Alpamayo-R1Hugging Face
https://huggingface.co/nvidia/Alpamayo-R1官方博客
https://blogs.nvidia.com/blog/neurips-open-source-digital-physical-ai/
