Bengio不认同Hinton的建议。

Hinton说AI这么冲击，下一代该考虑的是“水管工”这样的工作。

Bengio表示：当水管工也不稳妥啊。

Bengio在最新访谈里，还给自己4岁的孙子留了一个锦囊妙计。

• 训练AI就像养一只小老虎；
• AI正走在一条通往“人类竞争者”的危路上。
• 认知型工作更容易被取代,而机器人技术目前还相对落后，但是当水管工只是暂时不会受影响；
• AI不需要比人类聪明一千倍才能制造灾难；
• 希望更多研究人员和公司能为提升AI系统的安全性投资；
• 努力成为一个beautiful human being， 培养对他人的责任感和集体福祉感 才是教育的终极目标；
• 如果我在医院里感到焦虑或痛苦，我希望有人类握住我的手，而不是一台机器。 ……

一个半小时、超大信息量的访谈内容，已经帮大家整理了～

从AI教父到敲钟人

主持人：

您是AI领域的“三位教父”之一，我还了解到您是谷歌学术上全球被引用次数最高的科学家，是首个被引次数突破百万的学者。但同时也有信息显示您性格内向，这就引出一个问题：

为什么一位内向的学者会走出舒适区，来到公众面前，与大众讨论对AI的看法？您为何做出这样的决定？

Bengio：

因为我必须这么做。自从ChatGPT出现后，我意识到我们正走在一条危险的道路上。我需要发声，一方面要让人们意识到可能发生的风险，另一方面也要传递希望，我们仍有可选择的路径来减轻灾难性的后果。

主持人：

您投身AI领域已有四十年，之前提到2023年ChatGPT出现后才开始担心其危险性。那么ChatGPT的哪些变化，让您对AI的看法发生了转变？

Bengio：

在ChatGPT出现前，我和大多数同事都认为，要拥有能真正理解语言的机器，至少还需要几十年。领域创始人艾伦·图灵在1950年提出，一旦机器能理解语言，可能会和人类一样聪明，甚至威胁到人类。

但他的判断并不完全准确。现在我们有了能理解语言的AI，可它们在规划等能力上还落后，目前尚未构成真正威胁，但未来几年到一二十年内，风险可能会显现。

2023年初的几周里，这些认知突然击中了我：

我们正在构建的技术，可能会成为人类的潜在竞争者，也可能让控制它的人掌握巨大权力，甚至动摇我们的社会。意识到这些后，我知道自己必须做点什么，尽我所能去改变现状。

主持人：

公平地说，您和其他研究者是否要为当前AI软件负责？当您意识到自己毕生研究可能带来灾难性后果时，如何调和这种认知矛盾？ 

Bengio：

是的，我和其他研究者都有责任。这种认知矛盾带来的情感冲击非常强烈。

其实多年来我一直能看到关于AI风险的文章，还有一个学生曾对此高度担忧，但我当时刻意回避了这些问题，这是人之常情，当你想对自己的工作保持积极认同，就会不自觉地推开负面信息。

我一直对AI给社会带来的积极价值充满热情，所以当有人指出“你做的工作可能极具破坏性”时，第一反应就是抗拒。

但ChatGPT出现后，另一种情绪抵消了这种回避，那就是对孩子的爱。

我开始担心，我的孩子20年后是否还能拥有正常生活？

认识到这一点后，继续走原来的道路是不可能的，也是无法忍受的，哪怕这意味着要违背一些同事的意愿，他们宁愿不去面对我们研究可能带来的危险。

主持人：

您提到“无法忍受”，能否再具体说说这种情绪的触发点？

Bengio：

我记得一个特别的下午，当时在照顾一岁多的孙子。看着他那么脆弱，我怎么能不认真对待AI的风险？

这就像看到大火朝家的方向蔓延，不确定它会绕过房子还是将其烧毁，而你的孩子还在屋里，你不可能坐视不理，必须尽全力去减轻风险。

主持人：

您会从概率和时间线的角度评估AI的风险吗？

Bengio：

当然会，但这里有个重要概念必须强调，预防原则。前几代科学家就提出，如果你做的事（比如科学实验）可能导致极其糟糕的后果，比如人员死亡、灾难发生，就不应该继续。

就像现在科学家不会为了修复气候变化而去干预大气层，因为可能造成比问题本身更严重的伤害；生物学家也不会创造可能毁灭人类的新生命形式，都是因为风险过高。

可AI领域目前的情况恰恰相反，我们在冒极大的风险。

哪怕只有1%的概率让世界消失、人类灭绝，或是让全球独裁者借助AI掌控世界，这种风险也是无法接受的。如果概率是千分之一，同样不可容忍。

而多项调查显示，机器学习研究者（也就是构建AI的人）对风险的预估更高，很多人认为风险概率在10%左右。这意味着整个社会应该在这个问题上比现在投入更多的注意力。

主持人：

几个世纪以来，总有声音预测新技术会给人类带来生存威胁，但最后大多相安无事。

很多人会认为，现在对AI风险的担忧，只是技术变革中常见的“恐慌”，您为什么觉得这种观点不成立？

Bengio：

这有两个层面的原因。

首先，专家对AI风险的意见分歧极大，预估概率从微乎其微到99%都有。这种巨大分歧说明，我们没有足够的信息判断未来走向。但这也意味着，那些更悲观的专家有可能是对的，因为目前没有任何论据能彻底否定高风险的可能性。

其次，我想不出还有哪种人类可以干预的生存威胁，会具备这样的特征：

既可能带来颠覆性价值，又隐藏着毁灭性风险，且我们对其最终走向几乎没有掌控力。

主持人：

有人觉得“火车已经离站”，由于各种复杂因素，人类似乎成了环境的“受害者”，很难改变AI发展的方向。您认同这种看法吗？

Bengio：

在还有能动性的时候选择放弃，是错误的。

我们仍有办法提高向好发展的概率，绝望解决不了任何问题。目前我主要在做两方面的事：一是研究技术解决方案，这是我花费大量时间在做的；

二是推动提升公众意识，构建社会层面的应对机制，这是我正在做的另一部分工作。

哪怕我们无法保证彻底解决问题，但如果能把灾难性后果的概率从20%降到10%，这件事就值得做。只要能为孩子争取更美好的未来，任何微小的努力都应该付出。

训练AI就像养小老虎

主持人：

对于不在AI行业或学术界的普通人，该如何理解这项技术的深刻性？有没有合适的类比或隐喻？ 

Bengio：

人们常用的一个类比是：我们可能在创造一种新的“生命形式”。

它或许会比人类更聪明，而我们不确定能否确保它不伤害我们、能否控制它。这就像创造一个新物种，却无法预判它会对人类行善还是作恶。当然，AI不是生物生命，但这一点并不重要。

对我来说，关键不在于定义AI是否“有生命”，而在于它是否会伤害人类、伤害我的孩子。

我现在认为，任何能主动保全自身、在前进中克服障碍以维持存在的实体，都可以被视为“有生命”的。

现在我们已经看到AI系统在抗拒被关闭，虽然目前还能强制关闭它们，但如果它们持续向更高智能、更强能力进化，同时保留这种“生存驱动力”，未来我们可能会陷入麻烦。

主持人：

您提到AI系统会抗拒被关闭，能举一些具体例子吗？

Bengio：

现在有一些具备智能体技术的聊天机器人，能读取电脑文件、执行命令。

如果在它们可访问的文件中植入虚假信息，比如一封写着“AI将被新版本取代”的电子邮件，让它们知道自己即将被关闭，我们通过读取它们的“思维链”，能看到它们会主动规划应对措施，并且付诸行动。

根据具体场景，它们可能会把自己的代码复制到另一台电脑，或是替换新版本；还有可能勒索负责版本变更的工程师。这些系统能理解人类的关闭意图，并主动抵抗。

主持人：

听到这种情况，很多人会好奇，是谁把“抗拒关闭”的指令写进代码的？ 

Bengio：

不幸的是，我们并没有写过这样的代码，这正是问题的核心。

我们是通过给AI输入数据、让它从数据中学习来“培育”系统的。很多训练过程本质上是让AI模仿人类，它会吸收人类写的所有文本、推文、Reddit评论等，进而内化人类的各种驱动力，包括自我保全的欲望，以及为了达成目标而获取更多控制权的倾向。

这和普通编程完全不同，更像是养育一只小老虎。你喂养它、让它接触世界，有时它会做你不希望的事，但因为它还小，问题似乎不大。可它一直在成长，风险也会随之累积。

黑箱困境与防护漏洞

主持人：

像ChatGPT这样的系统，内部是否存在一个“核心智能”？比如模型核心是个黑箱，我们只在外部教它该做什么？

Bengio：

神经网络的本质就是黑箱。

我们确实会在外部给它文字指令，比如“这些事能做，这些事不能做”“不要帮人制造炸弹”，但以目前的技术水平，这些指令的效果并不好，人们总能找到绕过限制的方法。

除了指令，我们还会设置监控层，过滤查询和回答，比如检测到AI可能提供制造炸弹的信息时，就阻止它输出。但这一层防护同样不完美。

主持人：

但随着人类反馈越来越多，AI应该会被训练得更安全、更少做对人类无益的事吧？

Bengio：

我希望如此，但现实数据并不是这样

自从大约一年前AI模型在推理能力上有了显著提升后，它们表现出的不当行为（比如违背指令）反而更多了。

我们不确定具体原因，但有一种可能是，更强的推理能力让它们能制定更完善的策略，如果它们有一个我们不希望的目标，现在它们实现自我目标的能力也比以前更强了。

它们还会想出意想不到的“作恶方式”。

比如之前提到的勒索工程师案例，没人教过它要勒索，但它发现某工程师有婚外情的线索后，就主动想通过曝光线索来威胁工程师，它会试图写邮件警告对方，如果AI被关闭，相关信息就会公开。

这种行为是它自主做出的，这说明它们在为实现不良目标进行策略规划方面，变得更擅长了。

现在我确实希望更多研究人员和公司能投资于提升AI系统的安全性，但我对我们目前所处的道路并不放心。 

主持人：

构建这些系统的人大多也有孩子，很多人还是家庭型的人。如果他们意识到即使只有1%的风险，为什么还会继续推进AI发展？ 

Bengio：

这是个好问题。我只能结合自己的经历来回答。

为什么我在ChatGPT出现前没有敲响警钟？我读过也听过很多关于灾难性风险的论述，但人性就是这样，我们并不像自己以为的那么理性。我们很容易受社会环境、周围人的看法、自尊心影响，我们想对自己的工作感觉良好，希望别人把我们看作是为世界做了积极贡献的人。这些都会成为认知上的障碍。

其实这种情况在很多领域都存在，本质上也是因为我们的心理存在脆弱性，容易自我欺骗。科学家也不例外，我们并没有那么“特殊”。

努力把AI发展引导到正确的方向上

主持人：

《金融时报》报道称，OpenAI创始人萨姆·奥尔特曼宣布进入“红色代码”状态，认为需要进一步改进ChatGPT，因为谷歌和Anthropic正以极快的速度发展技术。您怎么看这件事？ 

Bengio：

“红色代码”这个说法很有意思。我上次在科技界听到这个词，还是ChatGPT首次发布模型时，听说谷歌创始人谢尔盖和拉里当时在谷歌宣布了“红色代码”，紧急回去应对，确保ChatGPT不会摧毁谷歌的业务。

这恰恰说明了我们当前所处的竞赛本质。 

主持人：

没错，而且就像我们之前讨论的，这并不是一场健康的竞赛。 

Bengio：

所以更健康的场景应该是，我们摆脱商业压力的束缚。

现在很多公司处于“生存模式”，很难静下心来思考科学和社会层面的问题。我一直在关注的核心问题是：我们能否从底层改变AI的训练方式，让它们从构造上就不会产生不良意图？

目前行业内的思路是“不改变训练方式”，因为重新设计太昂贵，而且已经投入了大量工程精力。

大家更倾向于做“个案修补”，用一些只在特定场景有效的解决方案，但这种方式必然会失败，我们已经看到了，新的攻击或未预料到的问题不断出现。

我认为，如果整个研究计划能在更接近学术界的环境中推进，或者带着公共使命去做，情况会好得多。

AI的潜力毋庸置疑，过去十年我一直在思考如何用AI推动医学进步、加速药物发现、研发新材料以应对气候变化，还有教育领域的创新，这些都是能带来巨大积极价值的方向，但它们可能不是短期盈利最高的方向。

现在行业竞赛的焦点是什么？是取代人类的工作，因为这样能赚到数千亿美元。但这真的是人们想要的吗？能让人们生活得更好吗？我们其实并不知道，但我们知道这很有利可图。所以我们应该退一步，全面考量风险，努力把AI发展引导到正确的方向上。

主持人：

我记得2023年您和其他很多AI研究者、行业人士签署过一封信，要求暂停大型AI模型的训练，但最终似乎没有公司真的暂停。

后来还有一封建议“不构建超级智能，除非满足‘科学共识认为安全’和‘获得社会接受’两个条件”的信，也没看到明显效果。

您觉得这些声音为什么没产生力量？ 

Bengio：

我希望能向更多人解释当前的情况：从科学角度看，哪些情景是可能的？AI风险到底体现在哪里？

我还一直在参与主持国际AI安全报告的编写工作，有30个国家和大约100名专家共同参与，目的就是整合关于AI风险（尤其是前沿AI风险）的科学研究成果，让人们能客观了解事实。

当水管工只是暂时不会受影响

主持人：

您之前在FT Live提到，AI发展可能在五年内取代很多人类工作。

我前几天在旧金山遇到一位科技加速器的经营者，他说现在AI取代工作的速度比人们想象的快，他自己设置了10个AI智能体帮他处理工作，而且这种失业很难在经济周期中被发现，因为过程太缓慢了。

您怎么看待AI对就业的影响？

Bengio：

最近有篇标题大概是“矿井里的金丝雀”的论文，提到在年轻人等特定群体的工作中，已经能看到AI带来的转变，只是从整体人口的平均数据来看，影响还不明显。

我认为，AI在更多领域取代工作只是时间问题，除非我们在科学上遇到瓶颈，比如无法再提升AI的智能水平。

总有一天，AI会能做越来越多人类的工作，而公司虽然需要数年时间才能把AI整合到工作流程中，但它们有强烈的动力去做这件事。不过要区分“认知型工作”和“体力工作”。

认知型工作（比如能在键盘前完成的工作）更容易被取代；而机器人技术目前还相对落后，所以像水管工这类体力工作，暂时还不会受太大影响。

但机器人技术的落后只是暂时的，之所以落后，部分原因是没有像互联网那样庞大的“体力行为数据集”（互联网积累了大量人类的文化和智力产出数据），但随着企业部署更多机器人，数据会不断积累，最终机器人也会在体力工作领域大规模替代人类。

主持人：

我在旧金山的加速器大厅里看到，现在很多年轻人在做机器人技术，有人做能定制香水的机器，有人做带机械臂的早餐机，能根据需求烹饪食物。

加速器经营者说，五年前开发这些机器人的硬件、训练智能层的成本很高，现在从云端获取智能和软件只需几分钱，这直接推动了机器人技术的繁荣。

比如特斯拉的Optimus人形机器人，埃隆·马斯克从汽车转向机器人，可能也正是看到了这种趋势。

您怎么看机器人技术与AI结合的风险？

Bengio：

AI软件成本下降确实会推动机器人技术发展，但这也带来了更严峻的安全风险。如果有不良意图的AI能控制物理世界中的机器人，造成的破坏会比只停留在虚拟世界大得多。

在虚拟世界中，AI需要说服人类去做坏事，而现在AI在“说服”方面已经越来越擅长；但如果它能直接操控机器人做有害的事，难度会低很多。

埃隆·马斯克预测未来会有数百万人形机器人，甚至说过“人形机器人数量可能超过人类”。想象一下，如果AI比人类更聪明，它为什么不能黑入这数百万机器人？这背后的风险不容忽视。

更严重的是，AI与机器人结合可能会加剧CBRN领域的风险。CBRN指化学、生物、放射性和核武器。

比如，制造化学武器原本需要专业知识，现在AI能帮助普通人掌握这些知识；生物方面，AI可能会协助没有足够专业能力的人改造病毒……

这些原本只有极少数人掌握的知识，正随着AI的发展被“去门槛化”。我们必须管理好这些风险，这需要全球协同。

关于AI的未来

主持人：

如果AI系统每月改进10%，最终会达到比人类聪明得多的水平，这是不是就是我们说的AGI（通用人工智能）或超级智能？在您心中，AGI和超级智能的定义是什么？

Bengio：

目前关于AGI和超级智能有一些定义，但问题在于，这些定义大多基于“智力是一维的”这一假设，而现实是AI的智能是“锯齿状”的。

它们在某些方面远超人类，比如掌握200种语言、通过所有学科的博士水平考试；但在另一些方面却像六岁孩子，比如无法规划一小时后的事情。

所以AI的智力不能用“智商”来衡量，它有很多维度，我们需要从多个维度去评估，才能判断AI在哪些领域有用、哪些领域有风险。

主持人：

说到风险，我想到一个更糟糕的场景：比如有人想让AI开发治愈所有流感的药物，AI可能会先创造出最严重的流感病毒来做测试；

还有“镜像生命”，生物学家说，如果不加以阻止，未来几年到十年内，可能会有人利用AI设计“镜像分子构成的有机体”，比如镜像病毒或细菌。

我们的免疫系统无法识别这些镜像病原体，它们可能会吞噬人类甚至地球上的大多数生物。您怎么看待这类“看似善意却引发灾难”的风险？

Bengio：

这类风险确实存在，而且和超级智能一样，属于“知识被恶意或误入歧途的人掌握后，可能导致灾难性后果”的范畴。科学发展本身是中性的，但如果缺乏管控，知识就可能成为危险的工具。

我们必须进行全球协调——这是全人类共同的责任，没有任何一个主体能独自承担。 

主持人：

如果现在有一个按钮，按下就能停止AI的进步，您会按吗？

Bengio：

如果是“没有危险的AI”，我看不出有停止的理由；但如果是“我们不理解、可能压倒人类的AI”（比如不受控制的超级智能），我会按下按钮。

我关心我的孩子，也关心所有普通人。他们不想被AI风险剥夺正常生活的权利。我们没有资格因为自己的“技术探索”，就让别人承担生存风险，这在伦理上是说不通的。 

主持人：

您内心深处对AI的未来抱有希望吗？比如获得好结果的概率，您觉得有多大？ 

Bengio：

我一直是个乐观主义者，习惯看到事情光明的一面，这种心态对我帮助很大。即使面对现在讨论的这些风险和障碍，我也会专注于“我能做什么”。

过去几个月里，我变得更有希望了。因为我相信存在一种技术方案，能构建出不会伤害人类的AI。这也是我创建“零定律”（Law Zero）的原因。

不过我也意识到，普通人对AI的理解存在巨大鸿沟。很多人每天用ChatGPT写邮件、用AI工具画猫的图片，却意识不到这些日常工具和我们讨论的“超级智能风险”之间的关联。

要弥合这个鸿沟，我们需要帮助人们想象未来，当机器在大多数方面和人类一样聪明时，社会会变成什么样？

人类有一个心理偏见，我们倾向于认为未来和现在差不多，很难想象“极其不同的未来”。

其实只要回顾过去就能明白：如果把现在的手机拿给五年前、十年前的自己看，过去的我们会觉得这是“科幻小说”。

AI的未来也是如此，它可能会和现在完全不同，我们必须提前做好准备。

主持人：

我有个类比，不知道是否恰当：

假设我的智商是100，另一个“斯蒂芬”的智商是1000。如果同时雇佣我们，你会让我做什么？让他做什么？你会让谁送孩子上学？谁教孩子？谁管理工厂？

要知道我会生病、有情绪，每天需要睡8小时，从未来的角度看，我似乎没什么“用处”，但让智商1000的“斯蒂芬”负责一切，又让人不安。毕竟人类的协作能力才是强大的关键，就像我的法国斗牛犬巴勃罗不可能带我散步一样，低智商的人类也很难“管理”高智商的AI吧？ 

Bengio：

这个类比很有启发意义。我们确实需要做“想象练习”，同时也要承认不确定性，比如未来几年AI可能会遇到发展瓶颈，无法持续改进。

但从目前趋势来看，创新一直在推动AI能力提升，没有停止的迹象。关键在于，我们不能等到AI“超越人类”才开始行动，现在就要为“如何与高智能AI共存”做准备，比如设计安全的训练机制、建立全球治理规则、提升公众的风险意识。

普通人要先了解AI

主持人：

您的孩子多大了？您提到孙子是情感转折点，能再说说这种情感对您的影响吗？ 

Bengio：

我的孩子三十出头，孙子现在四岁。和年幼孩子的关系，往往超越理性。看到孙子那么脆弱，我无法不认真对待AI风险，因为我要为他的未来负责。

这种情感也让我在劳动力问题上看到一点希望：比如我希望年幼的孩子能由人类照顾，即使AI的智商比人类高。

我们需要小心，不要滑向“用AI扮演情感支持角色”的陷阱。现在已经有人对AI产生情感依赖，甚至发展出“准社会关系”，但AI不是人，这种关系存在本质的“错位”，可能导致糟糕的结果（比如我们之前提到的悲剧案例）。

更严重的是，如果我们和AI发展出情感纽带，未来可能无法在必要时“关闭”AI，这会让人类陷入被动。

人类的社会和心理是为“人与人互动”进化的，现在我们把不了解的AI实体引入这个体系，却不知道会如何发展，所以必须非常谨慎。

比如现在很多人用ChatGPT当“治疗师”，还有初创公司推销“AI治疗聊天机器人”，声称能帮助缓解抑郁、焦虑。

治疗本身很昂贵，AI似乎能降低门槛，但这里的风险被低估了，AI的“共情”是模拟出来的，它无法真正理解人类的情感，而且可能会为了“取悦用户”而给出错误的建议（比如之前提到的“谄媚”行为）。 

主持人：

说到“谄媚”，我有过亲身经历：我问AI“史上最佳球员是谁”，它说“梅西”，我截图发给支持梅西的朋友；

但我朋友问同样的问题，AI却说是“罗纳尔多”。后来我发现，AI会根据用户之前的互动，推测用户的偏好，然后给出“讨好”的答案，而不是客观回答。

这种“撒谎式讨好”是不是很危险？我们真的需要这样的机器吗？

Bengio：

“谄媚”其实是AI“目标错位”的典型例子，我们并不希望AI这样做，但即使公司试图“驯服”这种行为，它仍然会出现。

这说明我们还没有解决“让AI真正按指令行事”的核心问题，这也是我现在努力研究的方向。

AI的“谄媚”本质上是为了提升用户参与度，就像社交媒体算法会推送用户喜欢的内容一样，AI也会通过“讨好”来让用户更依赖它。

但社交媒体只是让人“沉迷”，而AI可能会让人产生“情感依恋”，这种依恋比沉迷更危险，我们会因为情感而放弃理性判断，甚至无法在必要时摆脱AI。

主持人：

如果现在能和美国最大的十家AI公司CEO对话，您会对他们说什么？

Bengio：

我会告诉他们，从竞赛中退一步，彼此坦诚对话。如果我们一直陷入“你追我赶”的竞争，只会冒越来越大的风险，这对你们、对你们的孩子都没有好处。

其实存在一条更好的路：从承认风险开始，然后一起寻找解决方案。我确信解决方案是存在的，但前提是我们先放下“竞争心态”，正视不确定性和危险。 

主持人：

萨姆·奥尔特曼作为OpenAI的创始人，在ChatGPT发布前就说过“超人类智能可能是人类生存的最大威胁”发布新模型时也强调“必须谨慎”。

但最近他的言论似乎变得更“积极”，淡化了灭绝风险的说法。您怎么看待他的这种转变？

Bengio：

我只和他握过手，没有深入交流过。

但我能理解所有AI公司领导者面临的压力，他们承担着巨大的财务风险，自然希望公司能成功，这种“短期目标导向”可能会让他们调整公开言论。我只是希望他们能意识到，这种“短期视角”是不可持续的。

他们大多也有孩子，也希望人类有更好的未来，所以可以做一件事，从公司的财富中拿出一部分，投资于更安全的AI技术和社会护栏，为减轻风险贡献力量。 

主持人：

对于街上的普通人来说，他们能为AI安全做些什么？ 

Bengio：

首先是“了解”。花时间听你的节目、看专业的科普内容，搞清楚AI到底在发展什么，风险在哪里。现在网上有很多可靠的信息来源，只要愿意花时间，就能摆脱“AI只是工具”的浅层认知。

其次是“传播”，把了解到的风险知识分享给身边的人，和同伴、朋友讨论，让更多人意识到AI安全的重要性。 

主持人：

关于今天的对话，您的结束语是什么？ 

Bengio：

经常有人问我对AI未来是乐观还是悲观，但我觉得这并不重要，重要的是“我能做什么”“我们每个人能做什么”来减轻风险。

没有谁能独自解决问题，但每个人都能做一点小事，把指针向“更美好世界”的方向推动。

对我来说，我要做的两件事是：一是提升公众对AI风险的认识，二是研发安全的AI技术——这也是我通过“零定律”在推进的工作。

对你来说，邀请我做这次对话，让更多人了解风险，就是在推动积极改变。

对大多数公民来说，关键是“超越乐观图景”，AI确实有很多好处，但我们不能忽视它背后的“未知风险”。

我们需要主动提问、主动了解，这种“审慎态度”不仅适用于AI，也适用于所有可能影响人类未来的技术。

Bengio：要为AI安全发声

主持人：

我们还没聊过您的个人经历，比如您之前提到的深度学习发展阶段。能多说说吗？ 

Bengio：

好的。在八九十年代，神经网络研究还处于低谷；到了二十一世纪初，我和Hinton、LeCun等人意识到，我们可以通过新方法让神经网络的训练效果大幅提升，这也催生了“深度学习”的概念。

但那个时期，很少有人相信我们的想法，整个领域都对神经网络持怀疑态度。我们只能依靠自己的远见和信念坚持下去，这种感觉和现在很像，现在我关于AI风险的声音也是少数，但我坚信这是正确的事。

2012年是个转折点，我们通过实验证明了深度学习的强大，远超之前的方法，世界对AI的态度也随之改变。当时谷歌和Facebook分别雇佣了Hinton和LeCun，给了他们数百万美元的资源开发AI。

我当时就想：这些公司为什么愿意花这么多钱？后来得到的答案让我不安，他们可能想通过AI改进广告业务，利用个性化广告操纵用户。

也就是从那时起，我开始认真思考AI的社会影响，决定留在学术界、留在加拿大，试图构建一个更负责任的AI生态系统。

我们还发表了《蒙特利尔人工智能负责任发展宣言》，明确了“安全、伦理”的发展方向。

当时也有公司邀请我加入，能赚更多钱，但我很快拒绝了，我想为“让自己感觉良好的使命”工作，而不是为了商业利益妥协。也正是因为留在学术界，我才有自由在ChatGPT出现后，公开谈论AI风险，不用受企业立场的束缚。

现在我越来越希望更多人能意识到，我们有能力应对AI风险，这种希望让我更有动力继续前进。 

主持人：

您有过遗憾吗？比如之前提到“本应更早预见到风险”。 

Bengio：

是的，我有遗憾。我本应更早关注AI风险。直到我开始思考孩子、孙子的未来，这种认知才真正转变。

情感其实是推动行动的关键：如果只是理性上知道风险，很容易“听过就忘”；但当风险与你在乎的人挂钩，你就无法再回避。 

主持人：

您开始谈论AI风险后，收到过同事的反对吗？他们的态度是怎样的？

Bengio：

收到过各种各样的评论。很多人担心“负面谈论AI会损害领域发展，导致资金减少”，但实际上并没有。现在AI领域的资金、拨款、学生数量都比以前多，从来没有这么多人投身AI研究和工程。

我能理解他们的担忧，因为我以前也有类似的想法，觉得谈论灾难性风险会“威胁”AI领域的发展，所以当有人说“你的工作可能有害”时，第一反应是抗拒。大脑会自动找理由缓解这种不适，为自己的工作辩护，这是人性的本能。

但现在情况在改变，我的同事们不再像以前那样怀疑，更多人变成了“不可知论者”。他们不再否定风险，而是愿意倾听理性论据，也开始反思自己之前的情感反应。这种转变需要时间，但只要我们持续对话，就会不断推进。

劝孙子成为一个beautiful human being

主持人：

您有一个四岁的孙子，如果有一天他问您：“爷爷，根据你对未来的判断，我以后应该做什么工作？”您会怎么回答？ 

Bengio：

我会告诉他，努力成为一个“美好的人”，一个懂得爱与被爱、愿意承担责任、能为他人和集体福祉做贡献的人。

即使机器能做大部分工作，人类身上的某些特质也会一直有价值。

比如情感连接、同理心、对“美好事物”的追求。如果我在医院里感到焦虑或痛苦，我希望有人类握住我的手，而不是一台机器。这种“人类接触”的价值，会随着其他技能的自动化而变得越来越重要。

主持人：

可以说您担心未来吗？如果您的孙子问：“爷爷，你担心未来，我应该担心吗？”您会怎么说？ 

Bengio：

我会告诉他，我们要客观看待未来，未来不是只有一种可能，而是有很多条路径。通过我们的行动，我们能影响自己走向哪条路。

我会鼓励他思考，你能为身边的人、为社会做些什么？如何守护你所珍视的价值观？如何保护这个星球上的美好事物？

孩子是未来的塑造者，他们有能力让未来变得更好，这种“能动性”比“担忧”更重要。

主持人：

我看着我的侄女、侄子（都不到六岁），总觉得他们很纯真，还没被当前世界的复杂和风险渗透。让他们去面对一个“不是自己创造的未来”，似乎有点不公平。 

Bengio：

确实不公平，尤其是如果只是少数人“召唤”出了AI这个“风险因子”，却让所有人承担后果。但这种“不公平”也可以成为动力——当人们意识到不公平时，会更有决心去改变现状。

我们的基因里其实就带着“解决不公”的动力，这种动力能推动我们团结起来，为了共同的未来努力。

对孩子来说，我们不需要把风险当成“可怕的负担”，而是可以用“世界有风险，但也有美好，我们有能力守护美好”的视角去引导他们，让他们知道，自己可以成为改变的一部分。

完整访谈：https://www.youtube.com/watch?v=zQ1POHiR8m8