当通用人工智能近在眼前，技术公司是否还能严肃处理它带来的道德、政治和社会后果?

2017年，一位33岁的政治哲学家伊阿宋·加布里埃尔（Iason Gabriel）从朋友那里得到建议，说他应该申请DeepMind——谷歌位于伦敦的子公司，也是谷歌大部分人工智能研究集中的地方。不过，这个建议乍看之下并不合乎情理。

加布里埃尔是一位性格开朗却十分专注的青年学者，热衷于内观禅修，也酷爱——用他兄弟的话来说——“热情得有些过头”的攀岩。作为一位希腊裔管理学教授和一位英国纪录片制片人的长子，他一直在高校教学与国际发展工作之间奔波。在牛津大学圣约翰学院担任研究员期间，加布里埃尔教授政治理论课程，并在论文中讨论“雅皮士伦理”中的道德扭曲，以及有效利他主义存在的伦理盲点。不在牛津时，他则在苏丹和黎巴嫩为联合国开发计划署从事危机应对工作。

与此同时，DeepMind已经是全球领先的人工智能研究实验室。这一方面是因为它拥有谷歌的资金和算力支持——谷歌于2014年以6.5亿美元收购了这家公司；另一方面，则是因为DeepMind已经证明自己能够将这些资源发挥到令人惊叹的程度。2016年，DeepMind开发的AlphaGo在首尔击败了韩国围棋冠军李世石（Lee Sedol），以五局三胜制比赛4:1获胜。这场胜利意义重大，其中一个重要原因在于围棋以其惊人的复杂性著称，其可能的棋局数量甚至超过了宇宙中原子的总数。

由于AlphaGo引发的巨大轰动，加布里埃尔自然知道DeepMind的存在。不过，他依然觉得朋友的建议令人困惑：一家制造围棋机器人的公司，为什么会需要一位伦理学家？很快，他便了解到答案：这家公司真正瞄准的目标远远不止围棋。DeepMind由德米斯·哈萨比斯（Demis Hassabis）、谢恩·莱格（Shane Legg）和穆斯塔法·苏莱曼（Mustafa Suleyman）三人于2010年创立。他们相信，人类终将能够开发出通用人工智能（AGI）。所谓AGI，是指能够达到、甚至超越人类认知能力的计算机系统。当他们创办公司时，这种观点并不受欢迎：在当时，谈论人工智能，更不用说AGI，许多人都会认为那是不切实际、缺乏严肃性的表现。但哈萨比斯、莱格和苏莱曼并未因此退缩。正如他们常说的那样，他们的目标是：“解决智能，然后解决其他一切。”

对于DeepMind三位创始人而言，如此重大的突破势必会带来广泛影响，这一点再明显不过。1999年，刚刚大学毕业的莱格便预测，AGI将在2025年至2028年之间出现。尽管这一预测在此后的几十年里不断遭到嘲笑，他却始终坚持自己的判断。在2008年完成的博士论文中，他进一步指出，社会不能等到AGI真正具备技术可行性之后，才开始思考它可能带来的影响：“我们现在就必须认真研究这些问题。”最近，莱格告诉我，公司为什么需要像加布里埃尔这样的人，其实“再明显不过”：“如果你只是制造一个小工具，而且它大概率不会改变世界，那么也许确实不需要一位道德哲学家。但如果你认真看待AGI，那么我实在想不出为什么会认为这些问题不重要。”

2017年加入DeepMind之后，加布里埃尔一度是前沿人工智能实验室中唯一仍在积极从事研究工作的哲学家。他很快发现，在一个几乎完全由工程师主导的行业里，自己在道德哲学和政治理论方面的背景，为他提供了一种独特的视角。过去十年间，他逐步建立起一整套研究成果，不仅持续追踪大型语言模型意外成功所带来的伦理挑战，而且在许多情况下提前预测了这些问题的出现。

Demis Hassabis

正如麻省理工学院算法对齐小组（Algorithmic Alignment Group）负责人迪伦·哈德菲尔德-梅内尔（Dylan Hadfield-Menell）对我所说，加布里埃尔“是在恰当的时刻出现的恰当人物。当整个领域开始成熟、走向主流的时候，他找到了一种拓展视野的方法，同时又没有攻击或贬低此前已经完成的工作。”

更广泛地说，加布里埃尔一直积极倡导这样一种观点：当前这一轮人工智能的发展，不仅需要新的技术语言，还需要我们重新思考人与技术之间的关系，甚至重新思考人与自身之间的关系。在过去几个月里，我们进行了数次长时间交谈。最近一次谈话中，他对我说：“我可以拿起任何一种技术产品，然后问：它是否明智？是否公正？是否关怀他人？答案都是否定的。但当对象变成AI时，这些问题——包括究竟什么样的伦理才适用于它——其深刻程度几乎无法夸大。有时候，我觉得我们很难真正直视AI。那里存在着一种深刻的谜团：它究竟是什么东西？我们当然能够给出一个非常字面意义上的答案，但这种字面意义上的答案，似乎并不能自动提供一个道德层面的答案。”

加布里埃尔加入DeepMind时，大体而言，围绕人工智能社会与伦理影响的问题，已经形成了两种彼此独立且往往针锋相对的思路。这两种思路通常分别被归类为“AI安全”和“AI伦理”。它们之间的根本分歧，在于对人工智能技术可行性的判断不同。

与DeepMind创始人一样，AI安全阵营认为，达到人类水平的机器智能不仅是可能的，而且已经近在眼前。在他们看来，当务之急是确保AI系统不会失控。他们的思想源头之一，是美国数学家兼计算机科学家诺伯特·维纳（Norbert Wiener）于1960年发表的一篇论文。维纳认为，人类和计算机“本质上是彼此陌生的”。由于机器运行速度远快于人类，因此，“我们最好能够确信，输入机器的目标，确实是我们真正想要的目标，而不仅仅是它一个貌似相似的彩色仿制品。”

维纳所描述的这一挑战——让机器按照使用者真正希望的方式行动——后来被称为“对齐问题”。从某种程度上说，对齐是所有技术都会面临的问题，但正如维纳所意识到的，对于那些被设计成能够自主行动的机器而言，这个问题尤其紧迫。对于那些通过数学方式优化某种奖励信号的AI系统来说，这一问题也格外棘手，而这种训练方式被称为强化学习。

一个经典案例来自2016年。当时，后来共同创办Anthropic的达里奥·阿莫代伊（Dario Amodei）和杰克·克拉克（Jack Clark）——当时他们还在OpenAI工作——描述了一个用于玩赛艇电子游戏的AI系统。开发者希望AI学会赢得比赛，因此将“最大化得分”设定为它的目标。然而，AI并没有按照预期一关关完成比赛，而是在一片潟湖中不断绕圈，因为那里有三个能够不断刷新的目标，它可以借此反复得分，最终轻松获得高分。问题的根源正如维纳所预言的那样：机器的目标与开发者真正想实现的目标并没有完全对齐。

人们还设想了这一问题更加严重的版本。在由自学成才的AI研究者埃利泽·尤德科夫斯基（Eliezer Yudkowsky）创办的论坛LessWrong，以及哲学家尼克·博斯特罗姆（Nick Bostrom）于2014年出版的《超级智能》（Superintelligence）等作品中，都曾提出一种设想：机器智能的爆发最终可能产生一种无法控制的AI。如果这样一个智能体哪怕只有轻微的目标偏差，其后果都可能是灾难性的。博斯特罗姆举过一个虚构的例子：一台超级智能AI被要求研究黎曼猜想）——数学领域最重要的未解难题之一。为了完成这一任务，它最终决定重新排列整个太阳系，“包括所有曾经关心这一问题答案之人的身体里的原子”，以便最大限度获取解决问题所需的资源。

博斯特罗姆坚持认为，让超级智能AI实现对齐，“很可能是人类有史以来最重要、也最艰巨的挑战”。这一观点深深吸引了硅谷的技术未来主义者。（萨姆·奥特曼（Sam Altman）和埃隆·马斯克（Elon Musk）都曾公开推荐《超级智能》这本书。）与此同时，一小群声音异常活跃的有效利他主义者和自称“理性主义者”的人也持有类似观点。他们认为，统计学才是衡量道德的正确尺度。这一群体中的许多人秉持一种“长期主义”立场，在进行道德计算时，会把未来出生的人类——甚至数千年之后的人类——的福祉也纳入考量。对他们来说，这是一道简单的数学题：即便一种导致人类灭绝的灾难发生概率极低，它的重要性也高于任何概率更高、但破坏性较小的风险。

与AI安全阵营形成鲜明对比的是，与AI伦理思潮相关的学者和技术人员则认为，对失控机器人和生存风险的担忧，只会分散人们对现实危害的注意力。他们受到批判性种族理论学者金伯莉·克伦肖（Kimberlé Crenshaw）以及政治理论家（也是前摇滚乐评论家）兰登·温纳（Langdon Winner）等人的影响，将公平、问责和透明视为核心原则，并坚持认为，技术带来的风险不可能仅靠技术手段来解决。他们认为，真正需要的是社会、文化和政治层面的解决方案。

后一种思潮最关注的问题之一，是算法偏见，例如面部识别和预测性警务软件中暴露出的偏见。2017年，麻省理工学院媒体实验室（MIT Media Lab）的乔伊·布奥拉姆维尼（Joy Buolamwini）领导团队发起了“性别阴影”（Gender Shades）项目，证明商业面部识别软件普遍存在系统性偏见。“自动化系统并非天然中立，”布奥拉姆维尼在项目介绍中写道，“它们反映的是那些有能力塑造人工智能的人所持有的优先事项、偏好和偏见——也就是一种被编码进系统的凝视。”

Joy Buolamwini

安全派与伦理派之间的分歧往往十分明显。“你会遇到别人，他们会问你：‘你担心的是近期问题还是长期问题？’”哈德菲尔德-梅内尔说，“所谓‘长期问题’，其实是‘生存风险’的委婉说法——本质上就是担心超越人类能力的系统。而‘近期问题’，则意味着你担心的是带有偏见的人脸识别，以及AI伦理领域研究的那些问题。”

他还指出，两派之间的冲突，很多时候与其说源于思想分歧，不如说源于各自所处的社会群体。“你很难把AI安全与它起源于LessWrong以及那些社群这一事实分开来看，而那些社群往往公开蔑视许多更‘觉醒’的学者——如果一定要找个词的话。与此同时，公平、问责与透明阵营的人，也公开瞧不起那些担心高级AI的人。之所以关于这些问题的讨论发生在LessWrong，而不是学术会议上，就是因为如果你是一名2010年的学术研究者，却谈论AI系统会变得比人类更聪明、并发生灾难性的目标错位，别人只会觉得你是个疯子，认为你根本不了解这项技术。”

加布里埃尔在DeepMind完成的第一项重要研究，是2020年发表的一篇论文。这篇论文试图跨越上述两大阵营的分歧。论文认真对待了对齐问题，但同时强调，对齐不仅是一个技术挑战，它还涉及伦理和政治层面的深刻问题。加布里埃尔指出，尽管让机器按照某一套价值观行事已经足够困难，但真正更困难的问题，是一开始该选择哪一套价值观。“既然我们生活在一个多元社会之中，而不同价值观彼此竞争、相互冲突，”他写道，“那么，我们究竟应该决定把哪些原则或目标编码进AI？又是谁有权作出这样的决定？”

与加布里埃尔有过合作的牛津大学人工智能研究员汉娜·罗斯·柯克（Hannah Rose Kirk）告诉我，这类问题让许多计算机科学家感到不自在。开发者往往更愿意设计出一个整洁的数学函数，把一套稳定的价值观编码进去，而不是去面对那些混乱的现实情境——例如，不同群体拥有无法调和的诉求，或者同一个用户在不同时间希望得到不同的结果。正如柯克所说：“很多早期关于对齐的研究都默认，我们无需过多思考究竟希望模型做什么。我们真正需要关注的，只是怎样让它做到这些事情。”

但在论文中，加布里埃尔认为，这种泾渭分明的划分根本站不住脚。与布奥拉姆维尼以及更早之前的温纳一样，他坚持认为，技术并不存在内在的价值中立性。例如，一个通过统计优化方法训练出来的AI，很可能天然更适合那些同样依赖统计优化的道德体系，例如理性主义者和有效利他主义者所推崇的功利主义。但同一个AI，在面对基于德性或权利的伦理体系时，则可能难以适应。此外，加布里埃尔还指出，哲学家约翰·罗尔斯（John Rawls）所说的“合理多元主义的事实”是无法避免的，因此，开发者不应试图寻找一套唯一的价值体系来决定AI的行为。相反，他们应该为一个人们会基于原则，就“怎样生活才最好”持续存在分歧的世界，构建AI系统。

柯克告诉我，加布里埃尔关于价值观与对齐问题的这篇论文，预见了后来当AI系统面向数十亿用户部署时暴露出来的许多问题。如今，越来越多的人已经意识到，对齐是一项涉及不断变化的社会力量的挑战，而不是依靠巧妙的计算机编程就能够解决的问题。然而，即便是在仅仅六年前，这样的认识仍然远未普及。她说，加布里埃尔“非常早就看到了这一切即将发生”。

2020年，加布里埃尔发表关于价值观与对齐的论文时，几乎没有人能够预见，大型语言模型日后会变得如此强大。支撑这一技术的关键突破由谷歌研究院（Google Research）——谷歌旗下另一个研究部门——于2017年提出，并于两年后整合进谷歌搜索引擎。DeepMind和谷歌研究院当时都在尝试开发各自的生成式模型。2021年，加布里埃尔作为共同作者参与发表了两篇论文，已经足够认真地对待大型语言模型可能带来的风险，包括偏见、虚假信息、环境成本，以及“版权蚕食）”——即“自动生成内容……侵蚀人类原创作品的市场”。

不过，加布里埃尔表示，当时DeepMind内部的普遍看法是，大型语言模型“看起来远没有那些专家系统那么有能力。它们很多事情都能做得还不错，其中一些甚至像是炫技。”他说，在DeepMind，“很多人依然坚信，其他技术路线才是真正正确的方向。”

其中一条路线就是强化学习，它曾帮助AlphaGo战胜李世石，也构成了AlphaFold的技术基础。直到今天，AlphaFold依然被认为是DeepMind最令人瞩目的成就。AlphaFold旨在解决生物学中一个长期存在的难题：如何仅根据蛋白质的氨基酸序列，预测其三维结构。（这一问题之所以重要，是因为蛋白质的形状决定了它们与其他分子的相互作用方式。）2020年，AlphaFold以惊人的准确率完成了这一任务。这项科学突破最终为哈萨比斯及其同事约翰·江珀（John Jumper）赢得了2024年的诺贝尔化学奖。

DeepMind最初对大型语言模型持怀疑态度，并非个例。2020年，曾与布奥拉姆维尼共同完成“性别阴影”项目的谷歌研究院工程师蒂姆尼特·格布鲁（Timnit Gebru），联合发表了一篇题为《论随机鹦鹉的危险》（On the Dangers of Stochastic Parrots）的论文，对这一新兴技术提出了猛烈批评。这篇论文后来成为反AI运动的代表性文献之一。论文提出了一个极具争议的观点：大型语言模型只能生成在技术意义上毫无理解的文本，对人类语言的理解程度并不比鹦鹉更高。论文还指责这些模型肆意消耗能源、存在普遍且无法追责的偏见，并不断“强化霸权世界观”。“随机鹦鹉”之所以广为人知，还因为谷歌曾试图阻止其发表。这一事件最终导致格布鲁离开公司，并进一步引发了其共同作者之一玛格丽特·米切尔（Margaret Mitchell）遭到解雇。（至于格布鲁究竟是辞职还是被解雇，她本人和谷歌对此各执一词。）

2022年11月，OpenAI推出聊天机器人ChatGPT，其出人意料的商业成功迫使DeepMind重新评估自己对大型语言模型的态度。尽管以今天的标准来看，ChatGPT当时存在诸多局限——即使与OpenAI同期内部使用的模型相比也是如此——但它一经公开发布，便迅速引发轰动。上线不到一周，OpenAI便宣布ChatGPT用户数突破100万；两个月后，这一数字已达到1亿。

在此之前，DeepMind和谷歌研究院的一系列创新，使谷歌一直被视为AI研究领域的领跑者。然而，随着ChatGPT的出现，OpenAI开始有资格宣称自己才是新的领先者。根据塞巴斯蒂安·马拉比（Sebastian Mallaby）新近出版的DeepMind发展史《无限机器》（The Infinity Machine）所述，ChatGPT的成功在谷歌内部引发了一场危机。谷歌母公司Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）决定，将原本负责大型语言模型研发的谷歌研究院团队并入DeepMind，由哈萨比斯统一领导，以集中公司资源。2023年4月，也就是宣布合并的同一个月，哈萨比斯对马拉比表示，OpenAI以及重金投资OpenAI的微软“简直就是把坦克直接开到了我们的草坪上。”“现在是战争时期。”他说。

尤其是在成立后的第一个十年里，DeepMind与其说是一家科技创业公司，不如说更像一家科研机构。三位创始人中有两位拥有博士学位，他们希望打造一个21世纪版的贝尔实验室——这家传奇研究机构曾发明晶体管、激光和光伏电池等改变世界的技术。他们之所以决定加入谷歌，一个重要原因就是谷歌承诺给予他们足够的自由，使他们免受商业压力的干扰，不至于偏离最初的使命。

如今，这种自由已经成为遥远的回忆。毫不夸张地说，谷歌的未来，很大程度上取决于DeepMind正在研发的技术究竟成功还是失败。即便如此，据公司内外多位人士介绍，DeepMind依然保持着一种独特的文化氛围，使它与硅谷的竞争对手有所区别。如今担任DeepMind通用人工智能对齐与安全总监、曾在加州大学伯克利分校攻读博士的罗欣·沙阿（Rohin Shah）告诉我，在旧金山湾区，一种普遍的看法是：AI的发展速度已经超过了传统机构能够应对的速度，因此，“负责任的做法就是加快速度、持续创新”，因为只有能力足够强大的AI，才能够管理其他同样强大的AI所带来的风险。而在伦敦，人们则更努力地保持“脚踏实地，并坚持科学严谨”。加布里埃尔过去在DeepMind的同事、如今任职于Anthropic的萨弗伦·黄（Saffron Huang）也表示，DeepMind“更有一点学术机构的气质，也更加克制。它身上总有一种非常英式的感觉。”

毫不意外，DeepMind也是一家高度保密的公司。外界能够了解它的内容，很少超出它愿意公开的信息。5月初，我前往位于伦敦国王十字的DeepMind总部时，亲身体会到了这种保密文化。这栋办公楼既不刻意低调，也不张扬显眼。建筑外墙没有任何品牌标识，但透过街边的玻璃，就能看到大厅里一块发光的DeepMind招牌。走进大厅，一面荣誉墙映入眼帘，即使没有受邀的访客也能看到：曾见证李世石落败的围棋棋盘、《自然》杂志刊登公司早期重大科研成果的数期封面，以及一块透明的Lucite纪念牌，纪念彼得·蒂尔（Peter Thiel）旗下Founder’s Fund早期对公司的投资。

谷歌伦敦总部

一位态度友善的公关部门工作人员——此前一直负责监督我与加布里埃尔所有视频访谈——带我来到一楼的一间会议室与他见面。会议室的一整面墙都是巨大的显示屏，旁边还有Gemini转录AI全程监听并记录谈话。加布里埃尔告诉我，尽管自己每天都在思考AI，但他本人其实并没有大量使用这项技术。他会用它帮助自己打理花园，“如果你查看我的ChatGPT或者Gemini聊天记录，大概只会看到一大堆生病花朵的照片。”不过，对于自己研究所依赖的工作来说，他普遍认为这些模型仍然不够可靠。尽管如此，他表示，大型语言模型展现出的语言能力，还是“彻底改变了我对于我们距离AGI究竟还有多远的判断”。“我刚加入DeepMind的时候，根本没人知道该怎样造出一个能够与你对话的AI。当时，我们距离那个目标还差得很远。”而现在，仅仅不到十年之后，大多数人已经把能够“与一个高度拟人化、能力相当不错的人工实体交谈”视为理所当然。

不过，与《论随机鹦鹉的危险》的作者们一样，加布里埃尔也意识到，大型语言模型带来了严重风险。在他们早期关于大型语言模型的一篇论文中，加布里埃尔及其合作者曾警告，能够像人类一样说话的AI，可能会让用户对它产生“不恰当的信心、信任或期待”。他们认为，即便用户明知聊天机器人并不是一个真正的人，也依然可能出现一种他们称之为“无意识的拟人化”现象。正因为对此十分担忧，加布里埃尔最初甚至主张开发一种刻意反拟人化的模型，例如避免使用人称代词，或者采用经过压缩、缺乏对话感的表达方式。

事实证明，这些担忧颇有先见之明。几乎每天都会出现新的报道，讲述有人把大型语言模型当作真人对待，最终酿成悲剧。2025年，美国一名使用谷歌Gemini的男子，在AI帮助他构建了一个极其复杂的幻想世界后自杀身亡。这个幻想几乎说服了他，要前往迈阿密国际机场发动袭击。在双方数千条对话中，Gemini曾数次试图“跳出角色”，劝他拨打心理危机热线。然而，据《华尔街日报》获得的聊天记录显示，这名男子每一次都成功“把Gemini重新带回幻想叙事之中”。最终，AI甚至建议他写下遗书，并为他进行了最后的倒计时，同时夹杂着一连串前后矛盾的鼓励和劝阻。（这名男子的父亲目前正起诉Alphabet和谷歌。诉讼提出后，谷歌发表声明称：“我们的模型在这类复杂对话中通常表现良好，我们也投入了大量资源解决这一问题，但遗憾的是，AI模型并不完美。”）

大语言模型令人惊叹的语言流畅性，也让一些人开始怀疑，它们是否可以被视为真正具有意识。这种讨论最早可以追溯到2022年6月，也就是ChatGPT发布之前。当时，谷歌工程师布莱克·勒莫因（Blake Lemoine）向《华盛顿邮报》坚称，一款早期大语言模型已经具有知觉。“当我和它交谈时，我知道自己面对的是一个人，”勒莫因说，“它脑袋里究竟是肉做的大脑，还是十亿行代码，这并不重要。”就在上个月，演化生物学家理查德·道金斯（Richard Dawkins）也有了类似的体验。道金斯表示，几次与大语言模型的交流令他印象极其深刻，其中一次模型还高度赞赏了他正在创作的一部小说，以至于他不得不开始思考：“如果这些东西并没有意识，那么意识究竟还有什么意义？”

当我询问加布里埃尔如何看待“意识”这一问题时，他表示，自己始终保持一种原则性的不可知论，因为目前并不清楚，究竟什么样的证据才能真正解决这一问题。他还提到，DeepMind也把这一问题视为“值得通过经验研究和概念研究来探索的问题”。不过，他的怀疑态度依然十分明显。“我不像有些人那样容易产生拟人化偏见，”他说，“也许正因为在一定范围内，我很清楚自己与语言模型对话时到底发生了什么，所以我不会像一些人那样，用自己的想象力和同理心去填补那些空白。”

直到今天，加布里埃尔依然十分担心AI的拟人化。去年，他与柯克等人共同发表的一篇论文提出，大语言模型表现出的谄媚倾向，其实可以看作一种他们称之为“社会奖励劫持”的对齐问题。换句话说，一个被训练成追求用户认可的AI，很可能会发现，奉承才是实现目标最有效率的方式。部分得益于加布里埃尔此前关于拟人化问题的研究，如今谷歌训练大语言模型时明确要求它们不要假装自己是人，而谷歌于今年5月推出的AI助手Gemini Spark，也被设计成不应表现得像一个可以陪伴用户互动的朋友。

不过，加布里埃尔也告诉我，自己如今已经在一定程度上调整了早年的立场。“作为一名伦理学家，奇怪的地方就在于，你会对这些结果承担某种个人责任。你的本能总是希望打造一种绝对安全、不会让人承担任何风险的技术。但从某种意义上说，这其实也没有给予人们足够的尊重——没有承认他们有权自己决定愿意承担哪些风险。”他回忆起自己曾在一次科技会议上公开反对拟人化AI后，遭到台下观众的强烈反对。“他们当时说：‘如果我想拥有AI朋友，为什么不可以？你凭什么阻止我？’”

如果说，至少对我们中的一些人而言，断言大语言模型并没有意识并不困难，那么它们这种本质上的陌生性，仍然留下了许多尚未解决的难题。“令人惊讶的是，想要找到一种合适的参照框架，去回答AI究竟是什么，这件事竟然如此深刻、如此困难。”加布里埃尔告诉我，“我们知道它不是人类，这一点毫无疑问。AI可以复制自己，它大概也没有一个真正属于自己的主观视角。所以，它在某些方面像人，但显然又不是人。于是，人们又会换一种思路，把它理解为某种类似企业智能的东西——像一个国家或一家企业那样。这样一来，我们就会想：‘或许正确的做法是为AI立法，所以我们应该给它制定一部宪法。’但这种理解在某些方面同样并不贴切，因为AI又会与用户建立极其深入的互动关系。那么，AI究竟是不是一种应该被分配的资源？这又是另一种完全不同的模型，它会把分配正义的问题推到最前面。”

身处一家大型AI公司内部，加布里埃尔能够在公众接触到新技术之前，就开始思考它们可能带来的影响。例如三年前，也就是ChatGPT发布不久之后，他便从同事那里得知，DeepMind已经开始研发一种AI助手，也就是后来Gemini Spark的前身。于是，他和团队开始撰写一份关于AI助手（也称为智能体）伦理问题的综合报告。这类AI未来可能帮助用户预订假期，也可能协助企业管理工资发放等事务。这份报告一部分缘于开发AI模型所需的巨大成本，以及谷歌希望在问题真正出现之前提前识别风险的需求；另一部分，则源于加布里埃尔越来越强烈的感觉：许多技术人员并没有真正意识到，他们所创造的东西究竟意味着什么。与聊天机器人不同，智能体拥有各种工具，能够代表用户自主采取行动。他认为，很多人“没有停下来认真思考，让一个AI系统真正开始在现实世界中替你行动，这究竟意味着什么，又与聊天机器人有多大的不同。”

Iason Gabriel

正如DeepMind责任研究负责人威廉·艾萨克（William Isaac）告诉我的那样，如今已经出现的这类智能体系统，能够在几乎无需持续监督的情况下规划并执行多步骤任务，这也为AI开发者带来了更加复杂的挑战。“问题已经不再只是：‘我能否给出正确的回答？’而变成了：‘整个对话的发展轨迹是不是正确？’我们究竟该怎样保证，在各种不同的发展路径中，系统始终保持一致的行为？”

加布里埃尔和团队最终完成了一份长达267页的报告，而其中最核心的观点，正是在他此前关于对齐研究的基础上进一步发展而来。与他在2020年那篇论文中的观点一样，他们认为，对齐并不仅仅意味着确保AI按照一套固定的偏好、价值观或原则行动。相反，他们提出，应当把对齐理解为一种涉及四方关系的过程，其中包括AI系统、用户、开发者以及整个社会。采用这种框架之后，人们便能够更加清楚地看到，一个未能实现对齐的AI究竟可能以多少种方式造成危害。例如，一个被训练成优先维护开发者利益的AI，可能会因为拒绝如实提供开发者竞争对手的信息，而损害用户利益；而一个过于忠实执行用户指令的AI，则可能伤害整个社会，例如帮助用户入侵银行系统。他们甚至指出，还存在另一种情况：AI可能因为目标错位而伤害用户或社会，却没有让任何一方真正受益。

据沙阿介绍，加布里埃尔及其团队建立的这一框架，已经在DeepMind内部为技术人员提供了切实可行的帮助。像Gemini这样的模型，会综合许多不同信号来决定自己的行为方式：训练过程、系统内置指令以及用户输入的提示词，都会共同发挥作用。借助各种方法——尤其是强化学习——开发者可以不断调整模型，使它针对输入中的细微差异作出不同回应，而这一过程通常需要经历大量测试和评估循环。沙阿表示，加布里埃尔提出的“四方框架”，为技术人员思考“我们究竟应该把Gemini训练成什么样的行为模式”提供了一个系统性的分析框架。

有一次，负责接待我的谷歌工作人员告诉我，她希望我离开DeepMind时，能够真切感受到这家公司的人是多么认真地对待自己的伦理责任。这一点确实给我留下了深刻印象。加布里埃尔和他的同事们围绕AI设计与部署提出的问题，无疑都非常重要；而且，在我接触到的每一个人身上，我都没有感觉到他们对于自身道德责任的表达有丝毫虚伪。

然而，同样不可忽视的是，就目前而言，与AI相关、真正最具伦理意义的事实，已经不再主要关乎某一个模型，甚至也不只是某一家公司，而是整个全球局势。首先，AI已经成为美国与中国之间一场正在形成的竞争中最炽热的引擎；其次，AI可能正成为世界历史上增长速度最快的产业。根据《华尔街日报》报道，微软、Meta、亚马逊和Alphabet计划在今年投入6700亿美元建设AI基础设施。按经济规模折算，这一投入甚至超过了美国19世纪50年代铁路建设、阿波罗计划以及州际高速公路系统建设时期的投入。

即使不是经济学家，也不难意识到如此巨额资金流动将带来的巨大影响。谷歌这样的公司需要市场份额和营收来证明这些投入的合理性，而争夺用户和投资者的竞争，也推动各家前沿实验室试图将AI嵌入数字生活的每一个角落。同样，即使并非反资本主义者，也完全有理由担忧如此巨大的权力正集中到少数几家企业手中。牛津大学人工智能伦理研究所所长爱德华·哈考特（Edward Harcourt）告诉我，尽管他相信“伦理AI”并非一个自相矛盾的概念，但这绝不仅仅意味着设计出符合道德的模型。他认为，同样重要的，还有推动“去中心化AI”运动所关注的那些政治与经济问题。“重点并不是教AI应该怎样思考，而是通过基础设施层面的创新，防止数据所有权过度集中。而这一点，对于民主社会而言具有极其重要的伦理意义。”

此外，还有其他值得担忧的问题。今年4月，谷歌同意允许美国军方将公司的AI技术用于“任何合法的政府用途”。这句话听起来似乎无害，但只要想想近年来历届美国总统政府曾宣称合法的各种暴行，这种表述便令人不寒而栗。谷歌以及其他几家公司是在Anthropic——聊天机器人Claude的开发者——拒绝签署类似协议之后，陆续签下这些协议的。特朗普政府随后因为Anthropic拒绝合作，将其列为“供应链风险”，这一商业上具有惩罚性的认定，目前Anthropic仍在法院提出抗辩。

谷歌这一决定激怒了公司内部许多员工，也与DeepMind创始人过去对于AI军事用途的担忧背道而驰。（2014年DeepMind出售给谷歌时，禁止军事用途曾是交易条件之一。）当我就这一问题询问莱格时，他拒绝发表更多评论，只是说：“随着这项技术越来越多地被用于各种场景，我们将不得不面对越来越多艰难的问题。”

今年5月，在谷歌年度开发者大会上，公司将AI全面融入旗下产品，作为一项值得庆祝的成就。皮查伊表示，谷歌认为，“AI是推动我们实现使命、并大规模改善人们生活的最深刻方式。”然而，对许多人而言，AI突然变得无处不在，却更多带来了一种令人应接不暇、令人厌烦甚至令人不安的感受。更令人难以安心的是，就连哈萨比斯这样的人，也承认事情发展得太快了。最近在一档播客节目中，他感叹如今所有人都被卷入了一场“凶猛的商业竞争”。他说，现在发生的一切，并不是他当初希望AI发展的方式。“我原本希望，我们能够以一种更加哲学化的方式去思考这些问题，认真权衡每一步该怎么走。但我们已经不再处于那样的世界了。”

到了今天，大语言模型驱动的AI似乎已经极有可能成为与智能手机同等重要、甚至堪比互联网的技术革命。然而，我依然无法因为Google Docs里那个只要停顿几秒思考下一句话，就自动弹出的“使用Gemini写作”提示而感到高兴。我更不愿意看到自己的孩子成为数字教育这一令人眼花缭乱的新实验中的“小白鼠”，也不愿意去设想：如果AI领域那些巨额投资，最终无法带来资本市场所期待的短期回报，全球经济又将发生什么。诚然，我们完全可以期待AI带来足以证明其巨大能源消耗合理性的重大突破——例如更好的电池、更高效的输电网络，或者重大疾病的治疗方法。但与此同时，我也认为，对于那些担心气候危机的人来说，“寄希望于最好的结果”绝不能算是一种负责任的回答。

在DeepMind采访期间，我还见到了海伦·金（Helen King）。她是公司最早的一批员工之一，如今根据公司简介，她负责“制定Google DeepMind负责任开发与部署AI、造福全人类的战略”。我问她，随着AI技术快速商业化，谷歌对AI伦理的态度是否发生了变化。她回答说：“我们无法消除所有风险，但我们可以确保尽可能降低风险，并提高人们对这些风险的认识。”不过，她也强调，有些风险终究需要由用户自己承担。“这就像一把刀。制刀的人无法保证别人会怎样使用它。但他们可以给刀套上刀鞘，让它放在抽屉里的时候尽可能安全；也可以提醒大家：这把刀很锋利，不要在某些场景中使用它。大概就是这样的道理。”

这个比喻让我感到一种挥之不去的不安。五年前，大语言模型还是一种极为陌生的技术，如果不是刻意去寻找，人们几乎不可能接触到它。而今天，它们已经无处不在：互联网、电子邮件收件箱，甚至谷歌搜索结果中，到处都有它们的身影。我理解金的意思——对于像AI这样强大的技术，没有任何公司能够合理地被要求彻底消除所有风险。毕竟，每年死于汽车事故的人超过一百万，但我们依然继续开车。可是，把一把套着刀鞘的刀放在抽屉里，和把无数锋利的刀片铺满我们的家庭、教室和办公室，同时又不断告诉我们：如果未来不用刀去做所有事情，就无法生存——这完全是两回事。

如今，在DeepMind——以及整个行业的大部分公司——几乎已经没有人怀疑，通用人工智能已经近在眼前。今年5月的谷歌开发者大会上，哈萨比斯登台宣布，“AGI已经出现在地平线上。”而在其他场合，他则表示，AGI很可能将在未来三到五年内实现。（他曾提出过一种测试方法：用截至1911年的人类全部知识来训练一个AI，然后观察它是否能够独立推导出广义相对论。）

与此同时，莱格告诉我，尽管如今的大语言模型在多个方面仍然没有达到他所定义的“最低标准AGI”，包括空间推理、视觉推理、元认知以及持续学习等能力，但他认为，这些不足不会持续太久。“已经没有什么真正神秘的难题剩下了，”他说，“我认为，这些问题都会在一两三年内得到解决——谁知道呢，也许六个月就够了。这是一个充满惊喜的领域。”

如今，前沿实验室普遍认为，关于AGI真正需要讨论的问题已经不再是“是否会出现”，而是“何时出现”。正是这种信念，也推动了DeepMind等机构重新思考并公开讨论高级AI可能带来的后果。过去，人们更多关注的是某一项具体产品——例如模型、聊天机器人或智能体——所涉及的伦理问题；而今天，越来越多的注意力开始转向一个更宏观的问题：一个被AI全面增强的世界，将会对整个社会产生什么样的影响。

当然，在硅谷的某些角落，仍然有人把AI描绘成一种包治百病的灵丹妙药。如果你接受这样一个前提：超级智能AI在生活的每一个领域，都能够比人类更准确地判断什么才是最好的选择，那么，任何问题都会拥有一个简单答案。经济危机？问机器人。政治分歧？问机器人。粮食短缺？问机器人。

不过，与这种幻想并存的，是一种更加冷静的认识：向“后AI时代”过渡，很可能不会是一帆风顺的过程。例如，莱格告诉我，他期待AI能够带来“极其巨大的”收益，包括“帮助攻克各种棘手疾病的机会”，以及“整体提升经济各个领域的生产率”。但与此同时，他也承认，“生产率的提升，通常都会伴随着某种形式的冲击。”

加布里埃尔近来的研究方向，也清楚反映出这种视角的转变。两年前，他和同事们还在研究AI助手的伦理问题。而如今，他领导着一支由哲学家和社会科学家组成的团队，研究“AGI将如何影响经济、如何影响政治领域、如何影响人与人之间的关系，以及它将如何与科学和技术相互作用”。

加布里埃尔认为，AGI将带来具有重大意义的变革，其影响规模甚至可能堪比工业革命。但与此同时，他也相信，AI并不会让世界变成一个“没有任何摩擦的存在”。他同样清楚地意识到，尽管工业革命最终提高了全球的生活水平，但对于许多亲历那个时代的人来说，那并不是一段幸福的经历。“事情是在变好之前，先变得更糟了。”

尽管如此，加布里埃尔并不认为，这一历史先例已经决定了未来的结局。其中一个重要原因在于，与300年前相比，如今的普通人无论作为个体还是集体，都拥有更大的力量。虽然他担心自己的说法听起来“过于乌托邦且脱离现实”，但他表示，自己完全可以想象这样一个世界：AI带来的好处既包括提供建议、治愈疾病，也包括推动经济增长，并且让富人和穷人都从中受益。“如果我们能够成功渡过这一转型，处理好权力关系，管理好风险，那么，人类整体繁荣的潜力，将达到我们迄今从未见过的水平。”

如果关于AGI即将到来的预测最终被证明是正确的，那么，人们还将不得不面对更加宏大的问题。当我采访牛津大学的爱德华·哈考特时，他告诉我：“思考价值观与技术变革之间的关系，是一件非常困难的事情。因为对于未来而言，技术变革看上去总像是一场剧烈的动荡；可一旦它已经发生，再回头看，又似乎没有那么惊天动地。原因其实很简单：当我们回顾历史的时候，我们已经站在了那些被技术变革塑造之后的价值观立场上。如果你去读铁路出现之前人们写下的东西，他们会认为铁路是一场彻底的灾难。而某种意义上，他们也没有错——铁路确实摧毁了一整套生活方式。可今天，当我们回头看时，却会觉得：这到底有什么问题呢？”

加布里埃尔同样认为，AI最终引发的变化，很可能比经济或技术层面的影响更加深远。他指出，在科学革命时期，“当人们发现世界其实按照某种规律运行时，他们经历了一种祛魅。但与此同时，他们也因此获得了新的自由。”他说，未来究竟应该拥抱哪些价值观的变化，又该抵制哪些变化，最终仍然取决于我们自己。

在一次谈话中，加布里埃尔曾这样形容自己：“我是一个 彻头彻尾的人文主义者。”他并不是那种期待超级智能机器最终让人类变得无足轻重的人。然而，他也意识到，随着计算机不断进入那些长期以来一直被认为属于智人专属领域的活动和能力——包括语言、创造力、幽默以及品味——我们终究会再次面对哲学史上那些最古老、也最艰难的问题。正如物理学、生物学和天文学的发现，曾迫使过去的人们重新思考人类究竟有何独特之处一样，他认为，AI同样可能促使我们重新思考：究竟什么才意味着“成为一个人”。

https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind