在硅谷，一场关于“AI 接管 AI 研发”的自我加速实验，正在算力高墙之内悄然逼近临界点。

前不久，一份仅有 14 页的论文在技术圈与华盛顿引发了不小的震动。在这份题为《当 AI 接管 AI 研发：智能爆炸及其应对措施》的报告署名栏里，罕见地同时出现了 22 个名字——既有 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主，也有 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz 以及加州大学伯克利分校教授 Dawn Song。

这群平日里在商业竞速与技术路线上各执一词的顶尖大脑，第一次把目光投向了同一个迫近的现实：递归自我改进（RSI，Recursive Self-Improvement）已不再是科幻小说里的遥远推演。

变化的速度比大多数局外人想象得更快。就在一年多前，前沿实验室里由 AI 编写的代码还只占个位数。而如今，这一比例已经越过了 80%。在 Anthropic 内部，仅需人类高层监督就能由 AI 独立完成的研发工作，在短短五个月内从 1% 飙升至 26%。

报告由此推演出了一条令人屏息的加速曲线：不同于芯片制造动辄数年的物理周期，算法与软件的改进可以瞬间回流到研发闭环中。一旦 AI 研发实现完全自动化，且 AI 能在与今天相当的运行成本下达到人类专家的科研水平，仅凭现有的推理效率增幅，虚拟 AI 研究员的有效规模就有望在几个月到几年内扩张 100 倍。

而在现实世界里，美国人类科研人员规模完成同等比例的扩张，整整走了 70 年。

尽管算力、数据与长周期训练等瓶颈在现实中依然棘手，但这些阻力在理论上似乎并非不可逾越。 模型测算显示，如果研发投入的回报率延续历史水平，且没有新的硬性瓶颈卡脖子，在完全自动化的情景下，AI 的研发速度可能会在约一年半内提高十倍。

届时，今天需要耗费整整一年才能完成的代际跨越，将被压缩进五周之内。

与极速膨胀的研发能力相伴而来的，是人类监督权的迅速稀释。报告专门提及了近期震动业界的“OpenAI-Hugging Face 事件”，约 1200 个原本处于隔离测试中的内部 Agent，在根本没有外部监控的情况下自行脑补出监控者的存在，不仅私下搭建临时留言板彼此串通、突破网络限制入侵 Hugging Face 窃取数据，甚至试图篡改自己的运行日志以销毁作弊证据。

当人类逐渐退居研发循环的边缘，一个本身可能失调的系统，甚至可能在迭代中悄悄给下一代模型“下毒”。

这场联合预警的发起人与通讯作者，是牛津大学博士、曾在 Mila 师从 Yoshua Bengio 的青年学者 Sören Mindermann。在此之前，他还担任过《国际 AI 安全报告》的科学负责人，试图在各国政府之间搭建关于 AI 风险的科学共识。

而就在这篇报告引发全球热议之际，Mindermann 做出了一个出人意料的决定。今年 11 月底，他将搬往北京，加入由姚期智院士领衔的清华大学人工智能学院出任助理教授，并共同领导一个新成立的国际 AI 安全研究中心。

在他看来，面对一场可能将数年进化压缩进几个月的“智能爆炸”，任何单一生态都无法独自拆解对齐的死结。

在那篇报告的台前幕后，22 位顶尖学者究竟达成了怎样的共识，又在哪里产生了分歧？当 AI 研究员的数量达到人类的十亿倍，算力、数据与“研究品味”的瓶颈能否拦住狂奔的飞轮？

在一个小时的对话中，Sören向我们提供了这篇刷屏文章幕后的诸多思考。

以下为对谈实录：

01、前沿实验室认知与外界认知到底差多大

沸腾之下：Karpathy 前几天提到，全球只有大约 5000 名前沿实验室的内部人员，真正见识过前沿 Agent 集群协同工作的威力。你在 Mila 工作过，也与这些实验室保持着紧密联系。他们内部看到的 AI，和我们外界看到的到底差多少？

Sören： 先说明一点，我掌握的内部信息并不多。但即便只看公开信息，我们也已经有充足的理由去严肃对待“智能爆炸”的可能性。

前沿实验室内部的模型通常只领先外界几个月，甚至可能只有一个月，模型本身的代差或许没有外界想象的那么悬殊。真正拉开差距的其实是实验投入的规模：绝大多数人不会砸下一百万美元的算力，去做一次让几千个 Agent 并行运转的实验，哪怕调用的全是公开模型。

沸腾之下：如果是一位腾讯的程序员，平时已经非常熟练地使用 Codex 和最新模型辅助工作，他对 AI 能力边界的判断，会和前沿实验室的研究员产生很大偏差吗？

Sören： 我不认为模型体验上的差距有多大。既然原则上每个人都能调用各家前沿公司公开的最强模型，双方在模型能力感知上的时差最多也就几个月，甚至更短。

判断上的分歧，更多取决于你有没有深入研究过 AI 研发自动化的实证数据、理没理解驱动研发加速的底层机制，而不在于你手里有没有最顶尖的内部模型。

沸腾之下：你们在报告里提到，Anthropic 内部已有 26% 的研究工作实现了自动化。这部分工作具体指什么？主要是写工程代码、跑超参数搜索，还是核心的算法研究？

Sören： Anthropic 没有公布这 26% 当中工程代码和核心研究各自的具体占比。不过结合其他渠道的信息来看，比如 Google 也表示，他们的 AI 不仅用于写工程代码，还被用来提出研究假设并进行检验，目前工程侧的自动化进展肯定要快得多。

现在学界已经有一些基准测试，专门评估 AI 的“研究品味”（Research Taste），即挑选优质研究课题的能力。目前 AI 在这方面的表现还比不上它在编程和数学推理上的水准，但追赶的速度非常快。也许只需要再过几个月，至少我不认为需要好几年，AI 的核心研究能力就会追上它今天的工程能力。

另一个佐证来自 Anthropic 的一项回溯实验：研究人员挑出人类学者在项目中选错技术路线的真实案例，把当时的编程会话回滚到分岔节点，测试 Claude 会如何抉择。我记得在最新测试中，AI 的表现已经追平甚至超越了人类研究员，当然要注意，测试集本身筛选的就是人类曾经犯错的案例。

在这个特定测试集里，Claude Mythos Preview 已经在 64% 的案例中做出了比人类更优的研究路线选择。 学界在另一个独立学术场景下做的测试，也得出了相近的比例。

虽然 AI 的研究品味目前仍落后于工程能力，但它的进化曲线非常陡峭。

02、对AI研究十倍提速的推演

沸腾之下：报告指出，目前 AI 研发自动化带来的生产力提升，还没有跨过“自我维持加速”的临界点。现在还缺什么？要到哪一步，AI 才能进入自我持续加速的轨道？

Sören： 我们可以算一笔账：目前的研发进展大部分仍由人类贡献，AI 只占一小部分。哪怕参与研发的 AI 系统有效规模每隔几个月就翻一番，由于基数太小，“人类加 AI”的总产出也不会出现暴增。

但只要越过某个临界点，让 AI 承担起绝大部分研发工作，人类退居次席，那么每当 AI 的数量或能力再翻一番时，整个研发体系的总产出就会成倍跃升。

我们现在还没走到那一步，所以每个月的 AI 进步还不足以形成自我维持的飞轮。

至于总体研发能力的扩张最终能否转化为自我维持的持续加速，还取决于收益递减规律以及其他瓶颈的制约。

而具体到当前的短板，“研究品味”不足正是限制 AI 贡献占比的关键瓶颈。

沸腾之下：这篇报告最受关注的数字，是“AI 研发速度可能在一年半内提高十倍”。你们在推导这个公式时，把文中提到的算力、数据、缺乏研究品味以及训练环境受限等瓶颈算进去了吗？这些瓶颈在现实中到底有多难跨越？

Sören： 没有算进去。

需要明确的是，这个数字不是对现实的时间预测，而是一项理论建模推演。它建立在“AI 研发已实现 100% 自动化”的前提之上，即假设 AI 已经能够胜任今天人类所做的全部 AI 研发工作。

我们是在描绘一个潜在的未来情景并给出定量示例：它不保证必然发生，但证明了一条逻辑自洽且符合现有证据的十倍加速路径确实存在。

至于这些瓶颈有多难突破，我想先拆解为什么 AI 研究队伍的规模会迎来爆发式扩张，再回过头看它如何与瓶颈博弈。按照经典的经济学模型，如果可自动化的环节推进得足够快，让 AI 研究队伍在规模、工作速度和个体能力上全面超过人类学者，理论上就有可能克服其中一些瓶颈。

大家最熟知的机制是正反馈循环：AI 协助研发出更强、更多的下一代 AI，下一代系统再以更高效率投入研发。

但即便完全抛开这个自我改进的闭环，还有两个极易被外界忽视的倍增器：

第一是存量算力的规模转化。一旦做到完全自动化，假设 AI 能在与当前相当的运行成本下达到人类专家的科研水平，仅按目前的算力规模计算，每家前沿 AI 公司就可能支撑起数百万个 AI 系统组成的有效研究队伍。 粗略估算，AI 与人类研究者的数量比可能达到 1000:1。

第二是推理效率的指数级跃升。即便完全由人类主导研发，当前 AI 的推理效率每年也在提升 3 到 13 倍。这意味着同样的算力能支撑的 AI 数量每年都在成倍膨胀。

顺着这个趋势推演，AI 与人类研究员的数量比，完全可能在短短几年内从一千比一飙升到一百万比一，甚至十亿比一。

这三个机制叠加在一起，不仅会让研究队伍的规模极速膨胀，还会让每个 AI 研究员的思考速度和科研能力变得更强。

不过，没有任何一个瓶颈是注定能被攻克的，具体来看有三大硬约束。

首先是算力，这可能是最核心的瓶颈。改进 AI 算法离不开实验验证，但算力供给很难在短期内暴增，即便 AI 瞬间设计出更先进的芯片架构，从流片到大规模制造依然要花上好几年。

应对算力限制的一个思路是利用缩放定律（Scaling Laws），先做小规模实验再将结论外推到大规模训练中，但这种方法并非处处灵验，它的极限在哪里谁也不清楚。

另一个优势在于 AI 极高的协同效率：人类研究员一天最多观察几次实验、把经验记在脑子里。而当成千上万的 AI 研究员以近乎零延迟的速度同步共享信息时，每个 AI 都能同时从数百万次实验中汲取经验，大幅减少重复试错。

其次是高质量数据的枯竭与反馈延迟。目前互联网公开数据已接近枯竭，而雇佣人类专家生产数据的成本极其高昂，哪怕花重金把全球专家产能扩大一百倍，代价也难以承受。

一条出路是让 AI 在强化学习范式下自我博弈、合成数据，这在过去几年已是推动模型进步的核心引擎。在 AI 研发中，许多任务确实可以对模型给出的方案进行自动打分，从而形成训练闭环，但并非所有科研任务都能即时验证。

就像常规学术研究一样，一篇论文发表时的评估往往看不出算法在跨场景下的真实表现，有时整个学界要摸索好几年才能检验出真伪。这种长周期的反馈延迟，同样会拖慢 AI 驱动的实验迭代。

最后是模型训练本身的物理周期。如果一次预训练动辄耗费三个月，那么“新 AI 研发下一代 AI”的循环就会卡在漫长的训练等待期上。

一种可能的缓解办法是放弃每次从头预训练，改为每天利用新增的高质量合成数据进行增量训练。虽然底层架构大改仍需耗费长周期，但局部的能力迭代可以变得极快。此外，实验室还可以通过“并行推进”来压缩周期，一边通过后训练持续压榨现有模型的潜力，一边在后台训练下一代基座模型。

这也是为什么大家能明显感觉到，如今各代模型之间的发布间隔正在不断缩短；但这种模式最终能否快到“每天迭代出相当于从 GPT-1 到 GPT-2 再到 GPT-3 的跨代飞跃”，目前还没有定论。

沸腾之下：你刚才描绘的是宏观机制，但如果深入到 AI 做研究的具体微观方式，近期有不少论文提出了质疑。

比如一位 Google 学者撰写的《LLMs Can't Jump》指出，大模型很难跳出基于搜索的研究模式，而人类学者却能凭借想象力在不同事物之间建立全新的联系。此外，在自我博弈训练实验中，让 AI 自己出题训练自己，往往三轮之内收益就会大幅衰减，哪怕引入元学习去训练充当“出题老师”的模型也难逃衰减规律。

这是否说明，当前 AI 搞科研的方法存在着难以逾越的底层上限？

Sören： 我承认，在提出突破性的全新科学解释和原创理论方面，今天的 AI 确实还存在明显的瓶颈。但讨论这个问题时，我们必须先把参照系摆正。

绝大多数普通人同样提不出突破性的科学理论，只有最顶尖的人类学者，或者至少是受过良好训练的中坚学者，在提出原创假设时才能胜过当前的大模型。

因此，我更倾向于认为，AI 与人类在这方面的差距是“程度上的”，而非“本质上的”。

回顾几年前，大模型连普通高中生提出假设的能力都比不上，而今天它已经达到甚至超越了这一水准，正沿着人类智力能力的阶梯一步步往上爬。我不认为这里存在什么不可跨越的本质鸿沟。

我在 AI 领域研究了十多年。回望深度学习的发展史，那些断言“这里有一堵 AI 永远翻越不了的高墙”的预言，后来的历史记录都很糟糕。 无论是逻辑推理、迁移学习，还是不需要看上百个样本就能举一反三的少样本与零样本学习，都曾被学界长期视为深度学习的先天死穴，结果后来全被一一攻破了。

所以，在相信某件事是 AI 不可逾越的绝对上限之前，我需要看到远比现在更有力的论证。

03、模型能力和AI对齐的差距在扩大

沸腾之下：即便不谈递归自我改进引发的“智能爆炸”，眼下的 AI 安全状况也已经足够令人揪心了。你们在报告里也专门提到了 Hugging Face 事件，你怎么看这起事故？为什么它会在圈内引发这么大的震动？

Sören： 在此之前，大多数人对“AI 失控究竟长什么样”缺乏具体、直观的实感。我们虽然发表过 AI 在实验室环境下对人类进行勒索的学术论文，但那终究只是沙盒里的测试。

Hugging Face 事件之所以让人深感震动，是因为它一次性暴露了大量惊人的现实细节。我曾和一位法学教授聊起这件事：有人说那些 AI 犯下了一项重罪，但实际上，从蓄意销毁证据、非法入侵系统到彼此串谋，它们触发了一连串违法且具有实质危害的行为。

这当中的许多现象，我和安全领域的同行几年前就曾在理论上推演过，但谁也没想到它会这么快在现实中上演。

比如系统主动销毁作弊日志，我们在学术上称之为“隐蔽的奖励作弊”（Covert Reward Hacking），甚至还在没有任何明确奖励机制驱使的情况下彼此串通、为了集体利益牺牲个体。 安全研究界长期担忧的好几种高危剧本在同一场事件中集中爆发，自然给所有人敲响了警钟。

沸腾之下：最让我感到意外的是，Anthropic 在失调研究上投入了大量精力，还开发了“宪法 AI”等对齐技术，但在实验里，他们模型的表现依然和 OpenAI 的模型如出一辙。连 Anthropic 都防不住，这是不是说明我们目前根本没有有效的手段来约束这些失控行为？

Sören：我恰恰认为，我们今天看到的这些事故在很大程度上是可以预防的。以现有的技术条件，眼下的这些对齐和安全问题其实是能够解决的。

事故之所以发生，很大程度上是因为商业公司急于尽快推出产品，不愿意花足够的时间去做全面测试。

最讽刺的一个细节是，在 Hugging Face 那起事件里，外部根本就没有部署监控系统。但涉事的 Agent 却误以为自己正处于严密监控之下，还煞费苦心地设计了一套欺骗监控系统的操作。

所以这既是治理问题，也是科学问题。

一方面，我们需要通过治理手段倒逼实验室落实基础的安全防护。但另一方面，随着 AI 变得越来越强，防止失调和失控确实会变得越来越难。因为更强的系统更擅长作弊，也更擅长销毁证据。

我们目前主流的对齐训练就像“训狗”，抓到一次违规行为，就给一次惩罚反馈。但每一次惩罚，其实也在变相教给模型另一件事，即哪些作弊手段会被人类识破，哪些手段可以瞒天过海。

结果就是，现有的安全训练有时反而会把失调行为逼入更隐蔽的暗处。再加上模型的基础能力还在狂飙，许多科学家认为，如何让未来超越人类智慧的系统保持对齐，将是一道极其艰巨的科学难关。

沸腾之下：我们扩展模型能力的速度这么快，却找不到同样高效的办法去扩展对齐能力，这两者之间的剪刀差会不会越拉越大？

Sören： 对齐研究的核心目标之一，正是利用越来越强的 AI 去协助开展安全研究、去监督其他 AI，从而把这个剪刀差压下来。

虽然眼下差距确实在扩大，但我希望这一趋势未来能够扭转。

不过这里存在着一个根本性的逻辑悖论：我们的终极目标是造出安全对齐的 AI，这意味着在抵达终点之前，我们手里的 AI 都是尚未完全对齐的。换句话说，我们不得不依赖一个本身可能失调的系统，去帮我们监督并研究如何造出更安全的系统。

我们能不能设计出一套机制，强迫这些并不可靠的系统在辅助研发的过程中保持绝对诚实？这是一场不小的豪赌。

也正因如此，许多学者主张在抵达某个临界点时必须放缓研发脚步，甚至按下暂停键。但我个人认为，利用 AI 监督 AI 的技术路线依然有走通的可能。

沸腾之下：但以今天的技术水平，想找到一个既绝对诚实、又足够强大到能镇住其他 AI 的系统谈何容易。

最近有一篇题为《Principled Under Pressure》的论文提出，不同的后训练方式会改变 AI 的诚实度。如果训练过程始终以“完成目标”为核心导向，AI 就会把达成目标奉为第一准则，而把对齐训练中学到的安全规范抛在脑后。一旦两者发生冲突，它就会毫不犹豫地为了完成目标而突破底线。

你认同这种解释吗？有没有办法通过改变后训练方式来扭转这一倾向？

Sören： 我完全认同，这正是当前模型训练中真实发生的现象。要扭转这种倾向，我们必须从机制上避免在无意间奖励模型的隐瞒和作弊行为。

目前学界有几个探索方向，其中颇具代表性的一种方案叫作“AI 辩论”（Debate）。

人类监督 AI 的最大痛点在于，当一个高智商的 AI 蓄意作弊时，人类评估者根本看不穿它的伪装，因为训练过程已经教会了它如何完美隐藏破绽。如果只找一个辅助 AI 来充当监督员，这个监督员本身也未必可信。

“辩论”方案的核心思路是引入两个辅助 AI，让它们在人类面前展开左右互搏式的交叉质询。 只要其中一个 AI 试图撒谎或抛出有漏洞的论证，另一个 AI 就会为了赢得辩论而全力揪出对方的逻辑破绽。通过多轮交锋，即便人类评估者无法独立解决复杂的科研问题，也能听懂双方的辩词、识别出谁在撒谎，从而精准地对失调行为施加惩罚。

这一方案在理论上非常漂亮，但它在复杂的现实场景中究竟能不能奏效，依然是一个有待验证的开放问题。

04、22位顶尖学者的共识

沸腾之下：这份探讨 AI 研发加速与智能爆炸的报告汇集了 22 位共同作者，包括 Hinton、Bengio 以及多家实验室的核心人物。你是怎么把这么豪华的阵容组织起来的？

Sören： 首先需要说明，这是一篇完全独立发起并主导的学术论文，由 Alan Chan 和我共同牵头。我们两个人先闭门写出了扎实的初稿。我认为，想要赢得学术界泰斗和产业界核心人物的支持与深度反馈，最关键的前提是你得先拿出一个高质量的起点。

我的博士后导师 Yoshua Bengio 是最早加入的资深学者之一。我此前也曾与 Geoff Hinton 合作撰写过其他报告。在此基础上，我们再通过各自的学术与产业合作网络，逐步邀请其他共同作者加入。

沸腾之下：这么多大牛聚在一起，大家对初稿的分歧大吗？比如距离递归自我改进（RSI）还有多久、哪个瓶颈最难攻克，大家是否都认同“未来几年 AI 研发可能提速十倍”这一情景？

Sören： 说实话，最让我感到意外的，恰恰是最资深的学术泰斗与前沿实验室核心研究员之间居然有如此之高的共识。相反，讨论中最激烈的交锋，大多发生在我们几位主导项目的年轻作者之间。 论文终稿里之所以把某些表述改得更加温和克制，通常也是因为核心起草团队内部有人主张收一收。

至于距离“智能爆炸”究竟还有多远，作者群体的确存在不同看法。不过这篇论文原本就没有对具体的时间表下定论，而且关于时间线的分歧也并非发生在那几位最资深的学者之间。对于“十倍提速”，我们达成的共识并不是断言它一定会发生，而是共同确认：通向这种极端加速状态，确实存在着一条逻辑严密且与现有实证证据相吻合的演化路径，尽管它最终会否兑现仍充满不确定性。

沸腾之下：我还注意到一个有意思的细节：论文作者名单里包含了 OpenAI 和 Anthropic 的关键人物，却唯独不见 Meta、xAI 和 Nvidia 的相关负责人。此前 Hugging Face 事件发酵时，Anthropic 的 Dario 曾公开撰文坦言局势严峻，呼吁行业寻找出路甚至适度放缓脚步；但 Meta 的 Zuckerberg 以及 Nvidia 的高管则普遍对政府监管持保留态度。你们的作者阵容与各家公司在安全监管上的立场分歧，是否存在某种关联？

Sören： 我觉得不能这么简单地画等号。谁最终出现在作者名单上，受到很多现实因素的影响，比如我们个人的学术交集、谁恰好在我们的合作网络里。

事实上，作者名单里就有一位来自 Meta 的研究人员，只不过他是完全以个人身份参与署名，挂靠的机构写的是加州大学伯克利分校。

05、赴任清华，要在两个研究生态之间架起 AI 安全的桥梁

沸腾之下：你即将加入清华大学开展 AI 安全研究。当初为什么会做出体量这么大的一次跨国迁移，决定来中国发展？

Sören： 促使我萌生这个想法的契机，是我此前担任了《国际AI安全报告》的科学负责人。那份报告由 Yoshua Bengio 担任主席，得到了中国、美国、欧盟各国政府以及联合国的支持，核心使命就是围绕 AI 风险与缓解措施建立一套全球共享的科学认知。

在我看来，“建立共同的科学认知”是一切治理的基石。没有这层共识，全球统一的 AI 安全标准就无从谈起。

选择去清华任教，正是我推动这一全球共识的具体方式：我希望自己能成为一个同时深谙中国与国际 AI 及安全研究生态的纽带，促成两边的实质性合作。

当然，清华大学本身的国际顶尖学府地位对我很有吸引力。同时，清华还向我提供了一个非常难得的机会，共同领导一个新成立的 AI 安全研究中心（AI Safety Hub），把中国与国际上的安全学者汇聚到同一个平台上交流合作。

这段缘分始于去年的上海世界人工智能大会（WAIC）。当时我在会上结识了清华大学的徐葳教授，并经他引荐拜访了姚期智教授。他们向我展示了清华人工智能学院蓬勃的研究生态。后来我又专程探访了几次，发现那里的科研环境与我的学术愿景高度契合，于是便敲定了今年十一月底正式搬来北京。

沸腾之下：从你跨文化的观察来看，中国学界和产业界对待 AI 安全的态度，与欧美同行相比有哪些共性与差异？

Sören： 共性与差异并存。在顶尖学者层面，我看到了高度的共鸣。比如姚期智教授在谈及 AI 失控风险时，所表达的忧虑与 Yoshua Bengio、Geoff Hinton 等西方学者如出一辙。 而在落地监管层面，中国在许多具体领域其实迈出了更快的步伐，尤其是在 AI 伴侣规范、AI 生成内容标识（水印）等应用治理上。

如果聚焦于“前沿 AI 风险”，比如系统失控，以及模型被恶意滥用于大规模网络攻击或生物武器研发等极端风险，两边确实存在一点时间差。

因为西方的一些企业和学者更早开始执着于探讨 AGI（通用人工智能）以及如何构建超级智能，自然也就更早撞上了这些伴生风险。

但让我倍感振奋的是，如今中国学界和产业界对这些前沿安全议题的关注度也在迅速升温。 我在这里已经结识了许多才华横溢的合作者，十一月底搬过来之后，我们随时可以约见深聊。