出走、不握手、联合谷歌,Anthropic达里奥开火奥特曼:大模型行业里有的人根本不值得信任
6 小时前 / 阅读约53分钟
来源:36kr
Anthropic创始人Dario Amodei谈AI发展、公司估值逼近万亿美元及新模型Mythos的安全挑战,强调企业价值观与AI风险应对。

Anthropic 的创始人 Dario Amodei 最近过得挺缺觉。他在访谈中无奈地承认,面对那些前所未有的重压,他还在努力适应高压下的睡眠。这个,他创立刚满五年的 Anthropic 估值已经逼近一万亿美元,甚至在收入上悄悄超过了宿敌 OpenAI。

大伙都觉得他成了 AI 宇宙的中心,但 Dario 觉得这更像一艘正在疯狂加速的飞船,你闭眼睡两天,睁开眼地球上已经过去了三年,每天一醒来,积压要处理的破事多得像山一样。

外界总觉得 Dario 像个活在象牙塔里的道德卫士,但他的商业路线其实一直很功利。早期别人都在做花哨的消费者应用,他却把算力都押在企业级和写代码上,因为他觉得只有帮药企、能源公司解决问题才能活下去。这个决策直接在华尔街引发了“SaaS 灭绝(SaaSpocalypse)”的股票暴跌。

对于那些觉得自己写了点复杂代码就有壁垒的软件公司,Dario 的警告很简单:如果你的护城河只是写代码,那在 AI 面前基本等同于没穿衣服,你防不住的。

在彭博社旗舰访谈《The Circuit》主持人 Emily Chang 的对话里,Dario 聊到了很多外界一直在传、大厂却极力掩盖的细节。包括他因为不信任 Sam Altman 而出走、在印度峰会上拒绝握手的八卦等等,以下是他对这些争议、以及新模型 Mythos 为什么之前被他们捂着不发给出的直接解释:

我们离开 OpenAI,是因为 Sam Altman 持续不诚实,我们没办法再信任他。商业和安全上的分歧在任何公司都有,但当你发现对方的价值观和说的不一样、不诚实,且持续出现这种行为时,最好的解决办法就是拆伙。

如果你的公司壁垒只是写出了复杂代码,那基本防不住。传统软件行业正面临成批的淘汰,因为 AI 写代码的速度和成本优势太明显了。

那些以为靠老办法能一直管用的厂商日子会很难过,未来的护城河会变成客户关系、行业门道和独有的业务逻辑。

新模型 Mythos 能在 Firefox 里找出 271 个从未公开的底层漏洞,并自动把它们变成攻击武器。早期测试完这个模型的大厂警告我们,这东西像个超级武器,用它得先考个持枪证。

我把奥本海默看作一个失败案例,看作“不该发生的那种情形”。

Inside Anthropic(在公司内部)

采访者:你现在每天能睡多久?

Dario:我一直都不是那种睡很多的人。这么说吧,我正在学习一种艺术:在不同寻常的压力之下,找到让自己放松和睡着的办法。

采访者:一切都在以极快的速度推进。身处其中,感觉是什么样的?

Dario:那是一种“指数式增长”的感觉。假设你坐上一艘宇宙飞船,以接近相对论速度的方式远离地球。按照狭义相对论的运作方式,你睡一觉醒来,地球上已经过去了两天。所以你得在一天里应对两天发生的事。然后你再去睡觉,由于你还在继续加速,地球上就过去了三天。再下一天,过去了四天。那种感觉,和现在非常像。

采访者:你会不会每天晚上都带着强烈的不安入睡,担心醒来之后又会看到什么?

Dario:现在有足够多迫在眉睫、必须应对的问题,所以我一直都在处理这些事,同时思考我们该如何提前准备。但我不认为偏执,或者整天担心醒来后会发生什么,是一种有建设性的状态。

我研究过历史上那些面对高压局势的人,你必须学会理性回应,而不是把各种危险彼此之间的轻重关系搞错。在“我一点都不担心”和“天啊我们今天必须恐慌起来”之间来回摇摆,这是不成熟决策的典型表现。

真正成熟的决策方式是:我们不能忽视这件事。我们不能自满。事实上,它正在变成越来越大的风险。但我们必须像外科医生做手术那样去应对,或者像军官执行军事行动那样去应对。一个做决定会影响到许多人的人,必须理性地做决定。他们必须理解风险,但也必须保持一种基本的冷静。

采访者:我儿子昨天还在说:“我能用一下你的 Claude Cowork 账号吗?”我当时就说:“绝对不行。我还得省着我的 tokens。”

我们看到越来越多这类产品,甚至在消费级市场也是这样。我们原本更想成为一家企业服务公司。但即便在消费市场上,就算我们没花那么多力气,它也开始快速增长了。

你现在就在 AI 宇宙的中心位置。这种感觉是什么样的?

Dario:有意思的是,我整个职业生涯里——当然也包括在 Anthropic 的整个阶段——我的体验一直都是存在这样一种平滑的指数曲线。所谓平滑的指数曲线,体验就是:什么都没发生,什么都没发生,什么都没发生。会有一些小事发生,然后“嗖”的一下——一切突然疯狂起来。这就是世界的体验。这也是公司规模相对于其他公司、相对于整个世界时的那种体验。

所以我之前一直在看这张图,然后我会说:“哦,是的,我们大概会在这个时间点附近成为营收最高、估值最高的 AI 公司。”

而事实也确实如此。

所以从某种意义上说,我并不惊讶,因为图上就是一条平滑的线。但当然,从另一种意义上说,当事情真正发生时,你会看到其中更多的细节和色彩,而那确实又让人感到惊讶。

我们只是始终记着那些我们平常一直在想的问题,也就是:我们如何训练出好的模型?如何把它们做成好的产品?如何确保一切是安全的?如何帮助人们,同时也管理这项技术带来的社会风险?问题还是那些问题,只不过它们现在像是被放到了一个更大的显微镜之下。

Dario 的背景

采访者:你小时候在旧金山长大,那时是什么样的?我知道你父亲是做皮具工艺的,你母亲在图书馆工作。这些经历是怎么塑造你的?

Dario:整个第一波互联网革命就在我身边发生,但我对此完全没有兴趣。我只对做数学、乱写乱画感兴趣。我对理解宇宙感兴趣。我对科幻小说感兴趣。大体上就是那样的成长环境。

我想,我只是对这个世界有着非常强烈的好奇心。

采访者:你成长在这座科技中心城市里,而现在这里又成了 AI 的中心。这个地方、这座城市,有什么东西影响了你的世界观吗?

Dario:有。我觉得那种不从众、个人主义,以及“你疯狂一点也没关系”的整体精神,确实在某种程度上影响了我。

你会听到一些故事,说在欧洲的一些国家,或者甚至这个国家的其他地区,如果你用某种不同的方式思考问题,或者怀抱一套疯狂的想法,就会被劝退,或者被视为很怪异。其实我对硅谷有很多地方都非常批评。但我认为它有一个优点,就是它鼓励这样一种观念:即便所有专家都反对你,也没关系。即便你拥有一套连贯的愿景和连贯的世界观,你也应该去追求它。

也许它最终完全不会成功。但如果它成功了,这里面就有一种长尾特性:有些地方就像矿脉一样,只要你去寻找,就可能发现一座巨大的金矿。我认为这种精神非常重要。

采访者:你、Daniela——你的妹妹——以及她的丈夫 Holden Karnofsky,2016 年曾经一起住在一个合租屋里。那时候你们都在讨论些什么?

Dario:我想,那大概正是 Open Philanthropy Project 刚刚启动的时候,Holden 是那个项目的负责人。而我在当时是一名生物科学研究者。所以我会帮他们处理一些和发展中国家健康问题,或者生物研究相关的事情。

所以我会在这些问题上提供一些建议:哪些方向更有前景?哪些方向没有那么有前景?

离开 OpenAI

采访者:你离开 OpenAI 的决定,已经成了硅谷传说的一部分。到底发生了什么?除了流传的叙事之外,真正的问题是什么?你们分歧在哪里?

Dario:你看,我就把话说得很简单。构建强大技术时,会遇到很多困难问题,Anthropic 每天也都会面对这些问题。很多时候我们并不知道自己做的是对的决定还是错的决定。所以在安全问题上,确实存在许多合理的分歧。我们和他们之间当然也有过一些这样的分歧。但仅凭这一点,还不足以让人离开。

这里的人也和我有过分歧。这里的人彼此之间也有分歧。但如果你觉得你没法信任某个人,如果你觉得他们的价值观并不是他们嘴上说的那样,如果你觉得他们不诚实,如果你觉得他们做这件事并不是出于他们所宣称的理由,当你看到一些令人不安的行为模式——不诚实——那就会让你非常难以继续和这家公司共事,难以继续信任这家公司。

而且归根到底,如果你和某个人既没有相同的愿景,也不信任他,那又何必继续争论呢?解决方式就是:你去做你的事,他们去做他们的事。对我们按自己的方式做事、他们按他们的方式做事这件事,我完全心平气和。我们会看看谁能在市场上胜出,也会看看谁能在公众舆论中胜出。

我觉得这些东西,比任何关于“为什么、谁离开了、发生了什么”的戏剧化叙事都更有说服力。我们正在提供一个例子,展示我们认为应当如何以负责任的方式部署这项技术。如果他们不同意,他们应该把这个论点说出来。我觉得事情其实也就到此为止了。

采访者:在印度 AI 峰会上有一个瞬间,你和 Sam Altman 似乎拒绝在台上牵手。当时到底发生了什么?

Dario:实际情况是,那场峰会组织得极其混乱。我们所有人都是最后一刻才上台,他们还临时改变了我们站位的顺序。然后他们给我们拍照,接着又命令我们所有人手拉手。

如果你参加过这类峰会——我不是在特别针对印度说什么坏话——但凡这类有领导人出席的国际型峰会,组织通常都超级混乱。

采访者:好吧,但其他人都牵手了。你这不是理由。

Dario:你看,我也不知道该怎么跟你解释。就是 Narendra Modi 突然站在那里告诉所有人要手拉手。

采访者:好吧好吧。那这样,Sam 和 Elon 正在互相起诉。你看起来并不喜欢 Sam。如果建设世界上最重要技术的这些人,在台上都不能手拉手,我们怎么相信你们能在“生存风险”问题上合作?

Dario:那我想告诉你的是,这项技术的建设者之间,在能力和可信度上存在非常大的差异。我觉得那种“所有人都互相不信任”的梗,并不准确。

我认识Demis Hassabis已经 15 年了,他在做 Gemini 模型——那是 Claude 模型的竞争对手。我们在许多问题上都合作过。我们从 Google 买算力。我们也一直在互相交流安全方面的想法。

所以我的看法是,第一,确实有些参与者比另外一些更值得信赖。我也确实信任 Anthropic 之外的一些参与者,并认为他们是可信的。我认为真正需要发生的是,那些值得信赖的参与者需要联合起来,把那些不值得信赖的参与者放到一种他们不得不接受同样标准的位置上。

凭借大量经验,我已经明白了,有些人自己不会主动做正确的事,但如果行业中的大多数人都在做正确的事,那么我认为其余人就会处在一种几乎别无选择、只能跟上的境地。

这里面有积极的一面,也就是你去激励别人。比如 Demis 和我就是在互相激励。他做了AlphaFold。我们也在尝试做一些生物方向的事情。我们做可解释性研究;他们也开始做可解释性研究。这甚至不只是竞争。更像是每家公司做出一些很酷的东西,另一家公司就会说:“这很酷。我们也想做,并且看看我们能不能在这个方向上做出一些新的东西。”

所以这就是“向上竞赛”中的胡萝卜那一面。然后还有大棒那一面,或者说隐性的那一面:也就是,你会说,好吧,这些人在做正确的事。那些人如果不做正确的事,就会显得很难看。而我们经常也会看到一些行为模式:他们会有些不情愿地去做正确的事,同时还试图假装他们其实在做别的事情,并暗示我们这里有什么不对劲,或者我们有什么阴暗的企图。这是意料之中的。

但我认为,这就是我们把整个行业拉到一起的方式,也是我们让整个行业实现合作的方式。

押注企业市场

采访者:早期,其他公司都更关注好玩、吸睛的消费级应用。你却押注在编程和企业市场上,而 Claude Code 很火,Claude Cowork 也很火。你为什么做这个押注?这是价值观驱动,还是商业决定?

Dario:当我们创办 Anthropic 时,最根本、也是始终最重要的一点,就是我们想把这件事做对。但接着你就得问自己:为了给这些极其昂贵的模型研发提供资金支持,这必须是一家公司,必须有商业模式。那么问题就变成:这个商业模式会不会和价值观相冲突?这个问题一直都存在。

但我认为,我从其他公司身上学到的一件事是:如果你选择了一种从根本上和你的价值观冲突的商业模式,你会过得很艰难。要么你背叛自己的价值观,要么你变得无足轻重。你最终会落入一种两难境地。

当然,也不是完全没有出路,也不是不能绕开,但那始终是一种艰难处境。更好的方式,是一开始就选择一种和自己价值观相兼容的商业模式。

所以当时我们思考之后得出的结论是:我们看过社交媒体那个世界,也看过整个消费市场。它似乎真的会鼓励“参与度”,甚至鼓励成瘾。我们看到 AI 视频模型制造出来的那些“垃圾内容(slop)”,就会想:到底发生了什么?它追求的是最大化你付出注意力的分钟数,因为广告驱动的商业模式就是那样的激励结构。

而如果我们看企业市场:我们想做的是让这些模型真正对人有用。如果我去想所有 AI 可能带来的积极影响——我经常也会警告它的负面影响,但归根到底我们认为积极的一面会大于消极的一面——其中很多其实都可以被归入“企业”这个大框架之下。

我们想用 AI 去治疗那些以前治不了的疾病。那就要和生物科技公司、制药企业、学术研究机构合作。所有这些都是enterprise(企业组织)。我们想用 AI 让能源更便宜、更高效。那也是 enterprise。我们想用 AI 帮助教育。大多数这类事情也是 enterprise。我们想用 AI 去改善发展中国家的健康状况。那里也许会有一些非营利组织,但它们本质上也可以视作 enterprise。我们想提升经济增长。这基本上同样属于 enterprise。

然后我觉得还有另一个因素,就是企业非常看重信任和长期关系。消费市场往往会有一种“噱头感”,而在企业市场中,真正重要的是你建立起一段多年合作的关系:你兑现自己说过的话,他们也兑现他们说过的话,然后他们基本上会信任你。

所以这和我们以积极、安全的方式部署这些模型的目标是高度协同的。我认为,拥有这样一种大体上和我们价值观一致的商业模式,对我们非常有利。并不是说其中从来没有冲突。也不是说我们不必做艰难选择。但我觉得,这样的选择数量会比其他情况下少得多。

采访者:一个开发者一下午就可以从 Claude 切换到 ChatGPT 或 Gemini。在这个行业里,真的有可能建立长期领先优势吗?一个认真的竞争对手,要花多久才能复制出你们已经做出来的东西?

Dario:模型质量是最重要的事情。我们现在在模型质量上遥遥领先。确实存在某种惯性,但我从来不依赖那种东西。Anthropic 也从来不依赖“哦,这东西有粘性,人们不会切换”。我觉得你必须拥有更好的模型。你必须拥有更好的产品。

我们看到,增长率根本没有拐头下降。真要说的话,它们甚至还在上升——至少在这次采访录制的时候是这样。所以我倾向于认为,那才是最重要的事。

采访者:Claude Cowork 发布后不久,市场一夜之间蒸发了 2850 亿美元市值。交易员把那叫作 “SaaSpocalypse”。如果 AI 按照这样的速度继续进步,传统软件会被替代掉多少?又会有多快?

Dario:这是那种非常难以提前准确预测的问题。如果你能提前完美预测,那人们早就在市场上赚到巨额财富了,而且永远不会出错。所以没有人确切知道会发生什么。

但我会指出几点。所有这些传统软件公司,都拥有一些护城河。我觉得将要发生的事情是:其中有些护城河会消失,但另一些会继续存在。

“快速写出软件”的能力——我确实认为这项护城河正在消失。如果你的护城河是“我们写出了这套复杂软件,别人写不出来”,那祝你好运。你守不住这个。可是,很多公司仍然有客户关系。很多公司仍然掌握着某个行业如何运作的 know-how。很多公司仍然拥有独特的领域知识。

所以我给这些公司的建议是:显然,不要自满。不要忽视它。把你所有的护城河都列一个清单,并且清楚意识到,其中有一些会消失,而另一些会变得相对更加重要。因为这里存在限制因素,也可能会出现新的护城河。

我认为,那些能灵活回应局势、既抓住仍然存在的护城河,也抓住新护城河的人,会做得很好。而那些自满的人,那些自我欺骗、以为过去有效的方法将来还会继续有效的人,他们的日子不会好过。

这就是我会给出的建议。而且归根到底——当然,这也取决于你怎么定义 SaaS,什么算 SaaS,什么不算——但我猜测,软件行业总体上会变得更大,而不是更小,尽管其中会出现一些巨大的输家。

采访者:解释一下。

Dario:我只是觉得整个蛋糕在变大。有了 AI,蛋糕在变大。现有的 incumbents(现有巨头)在相对意义上可能会变小。其中一些公司的估值可能会下降。有些如果不能正确适应,甚至可能会倒闭。

但这种事在高速增长期很常见。如果 AI 带来的可能性增长了 10 倍,那么一个现有行业只增长 1.5 倍,也是完全可能的——只是它增长得没有整个大蛋糕那么快。

所以我觉得,这种情况是有可能发生的。这并不是说不会有大输家。我认为,那些不能适应、把头埋进沙子里、不去看清未来正在发生什么、不去识别自己还拥有哪些护城河的人,会非常艰难。

采访者:你们最大的支持者,是像 Amazon、Google、Microsoft、Nvidia 这样的公司。这些公司都有各自的议程。它们既是合作伙伴,也是竞争对手。你们的融资和很多巨大的商业里程碑是绑定的。那到底是谁在真正拍板?

Dario:我们已经有过很多次明确表达自己立场的情况。我一直都非常直言不讳地支持对中国实施芯片出口管制。我这么说,是因为我认为,如果中国在 AI 能力上领先,对美国、对全世界民主制度的状态都会是非常糟糕的事。

显然,一些芯片制造商并不同意这个看法,但这并没有阻止我把这些话说出来。我现在还在说,哪怕是在我们签了更多合作协议之后也是如此。

他们知道的一点是:我们始终和他们合作。我们一直是好的合作伙伴。我们可以一起合作。我相信他们并不希望我们说这些话,但这些话就是我的真实信念。你又能怎么办呢?归根到底,他们从这些交易中获益,并不比我们少。

说到底,我们都是成年人。我们可以在一件事情上合作,同时在另一件事情上持不同意见。

采访者:Bloomberg 报道说,你们的估值已经高于 OpenAI。我们说的可是一家成立五年的创业公司,却接近一万亿美元估值。你怎么理解这个数字?而且如果你们在算力使用上更克制、盈利路径也更快,为什么还需要那么多钱?

Dario:算力扩张得非常快。所以完全可能同时存在这样两件事:一方面,业务基本面看起来很好;另一方面,一年之后你会拥有三倍那么多的算力——或者三倍、四倍,我不会给出具体数字——但算力扩张的斜率就是这么快。

而且我们完全预期,营收增长会跟上,甚至超过算力增长。但融资本身,就是为了给这个不确定性的锥形空间提供缓冲。所以这完全是理性的做法。对业务的稀释非常小,从逻辑上讲,这和“业务基本面出了问题”完全不是一回事——事实上,它甚至和相反的结论是兼容的。

超越 OpenAI

采访者:一直有报道称你们服务器压力很大、可靠性有问题,也有人抱怨 token 不够用。你曾经说其他公司在基础设施上是 “yolo-ing”(一种不计后果地猛冲)。你们现在真的拥有自己需要的一切吗?还是说你们正在追赶?

Dario:关于算力,有一件事是这样的:存在“营销算力”这种东西。我的看法是,拉长到一段时间来看——哪怕比几个月稍微长一些——我们是可以拿到大量算力的。

这里有一点值得说清楚:我并不认为,按照任何合理标准,我们当初买的算力都算“太少”。我们当时是按每年 10 倍的算力增长来规划的。每年 10 倍,是我们的预期。但 2026 年第一季度实际看到的并不是这样。

我们看到的是季度营收增长超过 3 倍——不是年化的,是单季度就 3 倍——而当然,3 的 4 次方是一年大概 80 倍。我们并没有按年化 80 倍增长去做规划。按年化 80 倍去规划,本身就不理性,因为如果最后你只得到 10 倍增长,那你就会多出 8 倍的闲置资源。

所以我们现在处在一个局部极端的算力需求爆发期里,而它不会一直持续下去。如果它一直持续,那到年底时营收会增长到一种我认为地球上没有任何一家公司会达到的数字——我不认为那会发生,它不可能持续。

但你确实可能会经历这种短时期:天啊,这比我们原先任何可能的预期都快得多。不过,你已经看到了我们和 Google 的算力合作,也看到了我们和 Amazon 的算力合作。未来还会有更多,我们也会去做。市场是流动的。如果你真的能高效使用算力,而且市场上也有需求,你最终会拿到你的算力。可能只是需要一两个月的时间而已。

采访者:超越你的头号对手,这感觉好吗?

Dario:你看,我们面前还有很多艰巨挑战,而且我们一直在推动一种“向上竞赛”的理念,想把其他公司也一起往上拉。我认为我们已经看到了这一点。我们确实把他们拉上来了。有时候他们不愿意承认自己是在被我们拉着走。有时候他们一边攻击我们,一边又在复制我们。但这种拉动非常有价值。

所以我认为,成为最顶尖的公司——无论是商业上还是模型能力上——它的价值不在于“为了打败对手而打败对手”。它的价值在于,你由此拥有了把整个生态系统一起往前拉的能力。我们希望未来能做得更多。

采访者:但赢了总还是会有一点爽吧。

Dario:我的意思是,我们始终都在努力成功。我们不是来这里失败的。我不是那种认为这项技术应该被关停、不该被创造出来的人。我们存在于一个自由企业制度里,这本身没有问题。我们只是必须缓解这些模型带来的风险。所以一直以来,关键都在于如何平衡这两者。

采访者:在 Anthropic 的大部分历史里,你们都是弱势挑战者。我想,当你一无所有的时候,站在道德高地上总是更容易一些。到了今天这个规模,要坚持自己的价值观有多难?

Dario:我想说的是,我花了很多时间思考:随着公司规模扩大,这件事会变成什么样。我在公司每一个规模阶段都保持着一种偏执。在公司每一个规模阶段,都会出现一些新的挑战、新的失败方式——要么是公司失去商业上的求胜意志,要么是公司失去核心价值观。

我对这两者都很担心,因为我认为它们是协同的。事实上,我认为我们之所以能做出这么好的模型,恰恰使我们能够在公司成长、变大时,以一种有效的方式坚持我们的价值观。

这里面有很多陷阱。有很多走错路的可能。并不是因为我的价值观、共同创始人的价值观,或者公司领导层的价值观改变了,而是因为公司的人员构成变化得非常快。

所以我可能有一半时间都花在和公司谈论 Anthropic 的文化,以及这种文化是如何运作的上。因为你增长得这么快,就会招聘大量来自大科技公司的人。如果你不告诉他们 Anthropic 是怎么运作的,他们就会自然地重复自己唯一熟悉的那套东西,也就是他们之前所在公司的运作方式。所以这是一场持续不断的斗争,也是持续不断的挑战。

这就像我和 Daniela 也许排在第一位的头等优先事项,就是想办法把这一点保留下来,因为我们清楚地意识到,这才是我们长期来看真正的核心所在。

采访者:你们的产品速度太夸张了。你们发布东西又多又快。你们是怎么做到的?

Dario:我会说有两点。第一,我们是一家高度统一的公司。我们有统一的文化。我认为,尽管我们规模变大了,但依然极其高效,所有人依然在同一个页面上。文化和组织层面的统一——这是最大的因素。

第二个最大的因素,我会说,就是 Claude 本身:我们现在已经在用 Claude 来帮助开发我们的模型、提高它们的效率,并且快速开发产品。这里面会衍生出各种新的实践方式,而我们现在还处在刚刚起步的阶段,但它已经带来了大量加速,而且越来越多地带来了可靠的加速。

所以如果要指出两个因素,我会说就是这两个。

采访者:你愿意告诉我,你见过 AI 做过的最疯狂的事情是什么吗?

Dario:我觉得我见过最疯狂的一些东西,是在生物学和医学领域。我见过不少案例,包括 Daniela 本人,Claude 诊断出了一些连一群顶级医生都没发现的医疗问题。

而在生物学方面,模型在药物设计、计算化学之类的任务上,已经开始变得出乎意料地强。作为一个曾经的生物学家,我看到这些时会想,哇,这很难。你需要大量训练才能做到。而 Claude 已经开始做得不错了。

这是我认为我们会收获极其巨大好处的一个领域。这就是 AI 的积极面。我们会获得这些巨大无比的收益。生活会变得更好。人类体验的质量会变得更高。

一个世纪的科学进步——也是一个世纪“作为人类活着”这件事上的进步。你回到 1900 年,想想 20 世纪初我们面临的所有问题,想想那些导致人们过早死亡的原因,想想他们不得不忍受的那些痛苦,想想他们承受的那些物质匮乏,而今天我们已经不用再承受了。然后再去想另一个这样的百年。

我真的相信,这一个世纪的科学和医学进步——只要我们能挺过去,而我认为我们会的;而且我现在越来越乐观——我们将会拥有一个好得多、好得多的世界。

AI 与劳动力市场

采访者:我知道你非常喜欢写作。你也因为你的文章而闻名。你会用 Claude 来帮你写作吗?

Dario:会。我还没有到那种可以直接让 Claude 写出来的文本原封不动进入成稿的程度,因为我自己的风格实在太具体了,我对这件事多少有点挑剔。但我基本上会用 Claude 来帮我头脑风暴,帮我思考主题,帮我想,比如说,这里我可以引用哪些参考资料?

所以它更像是在扮演一种辅助性的角色。我不知道距离 Claude 写得比我更好还有多远。我们还没到那一步。但我觉得,毫无疑问,那一天会到来。

采访者:我也很喜欢写作,而且我觉得写作能帮助人和自己的想法搏斗。这里面涉及很多批判性思考。如果我们让 Claude 代劳,我们会失去这种东西吗?

Dario:我对此是有点担心的。事实上,这也是我坚持自己写作的一半原因。写作当然是为了外部受众——很多人会读我写的东西——但同样也是为了澄清我自己的思路,好让我知道下一步该做什么,并且在我和其他人之间建立一个共同的参照点。

我觉得我们现在仍然在摸索一个问题:究竟该怎么用 AI,才能保留这些好处。我认为我现在的做法就能做到这一点:我用 Claude 做研究,也用 Claude 帮我组织自己的思路。

如果我们只是端到端地用它——比如说,“写一篇关于 AI 风险的文章”——首先,它写出来的东西并不会是我真正想的那些内容。而且,我也会确实失去那种收益。未来随着模型变得更强,应该会有某种方式,让我们能更直接地把它们用于写作,同时又能保留这些好处。但我觉得这会是一件很微妙的事。它不会是一个简单单一的做法。我们得慢慢摸索出来。

Dario:我觉得我们可能会出现一种非常不寻常的组合:GDP 高速增长,同时失业率也很高——或者至少是就业不足,或者大量低工资工作,以及高度不平等。

采访者:你之前一直非常直接地谈论失业问题。你曾说 AI 可能会在未来一到五年内消灭一半的初级白领岗位。那是一年前说的。AI 发展得极其快。现在还是 50% 吗,还是更高了?

Dario:我一直以来都说——如果你回去看那些原始片段,它们总是被断章取义地剪成三秒钟——但我真正的原话一直都是:我不知道具体会发生什么,但这大致是“事情可能会有多疯狂”的一个数量级。

而且,我也一直都在谈我们对此可以做的各种应对。我谈过token tax(token 税),谈过和企业一起帮助人们做调整。我对再培训项目稍微有点怀疑,但也应该把它放进工具箱里。宏观经济政策——从一开始,我一直就在谈解决方案。

但不知为什么,人类心理上总有一种倾向,就是把那三秒钟“末日要来了”的内容剪出来传播。所以我的信息绝对不是“末日要来了”。我的信息是:这是一件我们应该预见到的事,是我们担心的事,也是我们需要积极应对的事。

我不知道具体会怎样,但我依然相当担忧。我的担忧量级和以前差不多。

我们现在确实看到,AI 正在让人们变得更高效。但这只是那个通常会出现的“驼峰”。如果你回头看工业革命——我在《Adolescence of Technology》里写过这个——当你把一项工作中 90% 的内容自动化了,很好,人们在剩下的 10% 上就会有 10 倍的生产率,因为他们被放大了 10 倍。但最终它会逼近 100%。接下来问题就变成:那你得为他们找到别的事情做。

我不确定长期会怎样。我确实是不确定的。但我确实认为,还是存在一些适应方式。比如我会谈到 Anthropic 内部的软件工程师。我们现在就正在经历这个转型阶段:目前,AI 让软件工程师更高效,即便 AI 已经写了所有代码,或者说几乎所有代码。但即便如此,它仍然让人更高效。

不过我们已经开始看到某种开端:也许有些人,并不会因为它而变得更高效,也许让 AI 直接把事情做掉更好。这是一面。

但另一面是,我们还需要更多什么样的需求?有一种岗位我们称为 forward-deployed engineer(前线部署工程师),或者 applied AI solutions architect(应用型 AI 解决方案架构师)。他们的工作既包括技术工作,也包括和客户交流。对这类岗位的需求很大,因为客户很多,而我们增长得非常快。

那么,所有原本纯做软件工程的人,都能自然转到这种岗位上吗?不能。这并不完美。这不是一对一的映射。但这至少能让你感受到:会有极其巨大的扰动,但事情也会做出调整。哪一边会占上风?我不知道。但之所以有必要提前发出警告,是因为只有这样我们才能作出回应。只有这样我们才能制定政策——无论是在 Anthropic 内部,还是在整个世界层面的宏观经济政策上。

我们希望提出的是经过认真思考的观点。我们不想说出那些别人并不相信我们真会去做的事情。我们不想说出那些半生不熟的话。我们想认真思考,到底应该怎样真正应对这些问题。

采访者:你们发布过一张图,展示潜在的岗位冲击——销售、金融等等。哪些工作会消失?谁会被替代?又会诞生哪些新工作?

Dario:没有人能确定地知道,因为经济本身就是不可预测的。这就像股市一样。这些都是去中心化的过程,你无法提前知道一项工作里到底哪些部分最终还会由人来做。

但如果要做一个宽泛判断,我会说,只要是这种初级白领岗位集中的地方——无论是银行业,还是金融业——都会有很大潜力先让 AI 提升人的生产率。但之后会出现一种整体性的变化:“AI 已经可以做这份工作了。” 到那时我们就必须去思考,那人还能做什么?而我认为,我们需要提前为这件事做规划。

事实上,我们已经在做了。我们和企业客户交流时,就能看到他们面临的选择。他们面临的选择是:我应该节省成本吗?那往往意味着减少招聘人数,基本上用更少资源做同样的事;还是说,我应该用同样的资源做更多的事?

而只要有机会,我们总是尽量推动他们走向后者,也就是用同样的资源做更多事情。因为那本质上意味着:雇同样多的人,甚至雇更多的人,但去做新的事情。把他们推向一个正和局面。

我们手里最大的有利因素是:整个蛋糕会扩张很多。也正因为整个蛋糕会扩张很多,所以大概率还是会有一些地方让人去。但问题在于,我们能不能足够快地找到那些位置。

真正关键的是,这种扰动的规模会很大。这就是我在提醒大家的事情。但我们必须解决这个“匹配问题”。

采访者:你再帮我把这个推演得具体一点。五年后你醒来——这个国家会变成什么样?那些人都在做什么?因为如果失业真的那么严重,那不正是革命发生的方式吗?

Dario:是的,这正是我们想要避免的结果。绝对是我们想要避免的结果。

我觉得有几个方向。没有一个是有保证的。我们并不确定。但首先是物理世界,对吧?那些发生在物理世界里的事情。是的,机器人革命也在发生,但它比 AI 现在发生的速度慢得多。人们总说要建设数据中心,但当任何类型的信息处理都变得容易得多之后,也许真正的限制因素会转向物理世界里的东西。所以我们会需要更多的人去制造、建设、生产那些物理世界里的东西。

任何以人为中心的事情,我认为都会变得非常重要。我会听到很多故事,说 AI 发现了我医生没发现的问题,但人们真的很想和其他人类交流,尤其是在那些重要的事情上。也许 AI 可以做更好的客服,但即便如此,人们——至少有些人——还是想和真人说话。

所以这些由人际关系驱动的工作,我觉得会很重要。我也认为,人类还会承担某种“指挥 AI”的角色。在某种层面上,这一切最终必须和某个人的价值观、某个人的意图保持一致,所以我认为这里会存在某种角色,只不过它到底会是很薄的一层,还是很厚的一层,我不知道。这非常难说。

采访者:对此一直有很多反驳。我知道你说自己是在提醒大家,但 Jensen Huang 说你混淆了“任务”和“工作”。还有一些人说,这某种程度上是一种对 Anthropic 有利的“末日营销”。

Dario:我想把这件事说得非常清楚,并且强烈反驳这种说法。完整的图景一直都是:存在岗位流失的风险,而这里有一些想法。我们还没有把这些想法全部完全打磨成熟,因为我想把它们做对,但 Anthropic 已经提出过很多思路。我们有经济研究资助项目。我们有经济指数。我也谈过应对这些风险的可能方法,从税收、宏观经济政策,到《Adolescence of Technology》里提到的新工作类型。

我还专门展开过“任务和工作之间的区别”,为什么这一次和以前不一样,以及我们可以采取的六种不同应对方式,从私人慈善到政府行动。我谈的是问题,也谈的是解决方案。

但社交媒体——我讨厌它,作为一个类别我就讨厌它——人们只会抓着一年前那段三秒钟的视频。他们根本不会去读文章。我其实已经更谨慎、更完整地写过这些问题,讨论过其中的风险。

说这是“廉价营销”的那种说法,本身才是廉价营销。这是懒惰。这是拒绝认真对待严肃的智识工作。我认为这本身就是问题的一部分。再次强调,我觉得这是硅谷的一种病症的一部分:大家被社交媒体式的三秒钟片段绑架了。于是人们只对这种片段作出回应,或者他们以为自己只需要对这种片段作出回应。

再次强调,我认为这非常危险,而我们一直没能进行一场成熟的对话。相反,人们只是懒惰地看了那段三秒钟的视频,然后就说:“哦,这就是 Dario 的意思。” 这太蠢了。太不严肃了。每当有人这么说,我就会更不把他们当回事。

Mythos

采访者:Anthropic 几乎每周都在上头条。

Dario:是的。

采访者:现在最引人关注的,当然就是 Mythos。这是 Anthropic 最新、最强的模型,它能够贯穿整个网络攻击杀伤链中的所有环节,并且能自主地完成这些事。你说 Mythos 太强大了,不能向公众发布。最让你意外的是什么?

Dario:我觉得最让我意外的一点是,模型在发现漏洞的能力上一直在爬升,而且更重要的是,它还能把这些漏洞真正转化成 exploit(可利用的攻击手段)。人们往往只谈发现漏洞本身,但很少谈把漏洞变成真正可利用的攻击,而它在这方面也相当擅长。

所以让我意外的是,我们看到了一个巨大的跃升。那是一次特别大的跃升,而且几乎不需要我们做任何引导,一些我们最早把模型给到的公司就直接说出了类似这样的话:“这简直是超级武器。使用它应该像持枪一样需要许可证。请不要公开发布它。”

要求“不要发布”的声音,来自我们给它试用的那些公司本身。因为它发现了太多关键漏洞,而且还证明了这些关键漏洞是可以被利用的,所以他们反过来请求我们不要发布它。

当然,需要澄清的是——因为社交媒体世界里所有东西最后都会变形——我们的目标并不是要永远把它锁起来。我们是在逐步尝试把它开放给越来越广泛的人群,最终我们相信,应该把 Mythos 发布给普通用户,但前提是必须有强有力的网络安全防护措施。

而现在的问题是:今天的那些网络防护措施——我们确实已经在 Opus 4.7 上发布过,它是一个不错的网络模型,但明显比 Mythos 弱得多——这些防护是可能被越狱绕过的。我们对另外一些公司感到有点担心,因为他们觉得这已经算足够防御了,但现实是,没错,它有时候能起作用,可我们都知道这些分类器是可以被越狱、被绕开的。

我们自己的测试,再加上我们对其他公司所部署防御方案的评估,都表明:这些防御现在还不够强。而这正是我们在等待的东西:我们要等到这些防御强到一个我们真正有信心的程度。

采访者:外界对这件事也有很多反弹。有研究人员说,他们用更便宜的开源模型也复现出了类似能力。也有人说 OpenAI 已经有这些能力了。对于那些说这只是一次大型公关操作的人,你怎么回应?

Dario:那种说“开源模型也能复现”的说法,简直是彻头彻尾的错误。事情是这样的:Mythos 能浏览整个代码库并找出问题。然后有个人跑到 Twitter 上说:“如果你把 Mythos 找到的那一行代码精确地拿给一个开源模型看,它也能找到同样的问题。”

但那根本不是提示词。那根本不是问题本身。那不是同一件事。

这件事的终极检验标准是:我们走进公司,我们走进开源仓库。我们在 Firefox 中发现了 271 个新的漏洞。我们还在很多私营公司里发现了成千上万个漏洞,只是它们还没修好,或者还不能披露。之前那个模型可从来没找到过这 271 个漏洞。

所以,真正有效的工作流、真正能在实践中工作的东西,和那种“好吧,我先找到 Mythos 找到的那一行代码,我先在草堆里找到了那根针,然后另一个模型也能把这根针捡起来”的玩法,根本不是一回事。

采访者:那对于那些说这只是高明营销的人呢?

Dario:因为没有发布这个模型,我们在商业上已经承受了巨大的损失。这个模型在 Anthropic 内部极大加速了研究、生产,以及下一代模型的开发。如果我们把它发布到外部世界,它同样会做到这些。这件事在商业上让我们付出了巨大的代价。

采访者:如果它能帮助防守方,它也能帮助攻击方。那我们还能守住任何东西吗?

Dario:我想说的是,我们之所以先把 Mythos 给防守方,再给攻击方,就是为了先把所有漏洞补掉。我不知道——随着模型越来越强,未来可能会发现越来越多的漏洞——但漏洞总归是有限的。它们不是无限的。就像你面前有一个表面,上面只会有那么多洞。你把这些洞都补上,这个表面就会变得非常难以攻击;与此同时,代码本身也会越来越多地由强大模型参与编写,于是它也会变得非常难以被发现缺陷、难以被攻破。

所以我认为,在这一切的另一边——也许是六个月后,也许是一年后——我们有希望拥有一个比过去安全得多的互联网生态系统。我们现在所做的,就是尽最大努力把 Mythos 逐步开放给更多网络防御者。

我们一直在和政府沟通。我们非常尊重他们的建议。他们正在放慢我们扩大开放的速度,因为他们担心反情报风险。我认为这很合理。我觉得所有认真看待这件事的人都明白,这里面存在真实的权衡。

我们在 Twitter 上看到了很多冷嘲热讽,也看到了一些其他 AI 公司在那里阴阳怪气。你去看他们说的话,再看看他们自己在做什么,两者之间的不一致太明显了——他们不是严肃的人。他们没有在认真面对我们真正面临的那些严肃权衡。

你看,我每天都有客户给我打电话,说:“我想获得 Mythos 的访问权限。” 也有国家来联系我,说:“我想获得 Mythos。” 同时美国政府和我的安全团队又会说:“不,等一下,这里面有风险。”

我不是说哪一边绝对对,哪一边绝对错。我认为答案在中间。两边都各有道理。但这确实是一个真实的难题,我们必须作为一个社会共同面对它——而不是把事情说成廉价营销,也不是用廉价营销式的方式来反向定位自己,而这正是一些其他公司正在做的。这一切都显示出一种惊人的轻浮和不成熟。我们必须共同严肃地面对这个时刻。

采访者:你们是不是已经做出过一些让自己并不完全舒服的权衡?

Dario:在 Anthropic 的整个历史中,都一直存在权衡。在某种理想世界里,在你发布第一个聊天机器人之前,你会更愿意花上数年时间去研究它可能出错的每一种方式。我们确实也推迟过 Claude 最初的发布,但我们推迟的只是几个月。

所以我想说的是:一切都是权衡。光谱两端的极端立场都是完全疯狂的。所以所有事情都得权衡。

我想说的是,现在既然我们处在我会称之为“商业领先位置”的状态里,Daniela 和我其实正在尽一切努力,把那个刻度盘再往“谨慎”方向多拧一点。这就是 Mythos 发布策略的意义所在。如果你不是领先者,做这种事会非常难。所以我认为,未来你还会看到更多类似的事情。

采访者:有一种论点是:为什么政府不干脆把你们接管了?为什么要让一家私营公司掌控如此强大的技术?

Dario:我其实认为这是一个非常严肃的问题,而且我也认同其中的担忧。我不认为政府应该直接把我们接管,但我会这样说。

先退一步,描述一下现在的局面:历史上我们见过的每一种强大技术,过去要么是由政府建成的,要么是起源于政府。核武器最初显然就是政府打造出来的,之后也基本上一直由政府主导。甚至连互联网、GPS、手机——所有这些研发最初都是在实验室里、联邦实验室里、大学里完成的。

AI 是第一种主要在私营部门里被建造出来的技术,政府几乎没有认真参与,而是在很晚的时候才进入局面。我认为这其实是一种危险且不稳定的状态。这并不是我会主动选择的状态。但现实是,没有真正的替代方案。这项技术是可以被建造出来的。我们的对手也在建造它。它有经济价值。它一定会被建造出来。问题不在于私营部门在做,而在于政府没有做。

我认为,我们需要思考如何对权力建立制衡。所以我认为,对 AI 公司拥有的权力也必须有制衡。我们有一个机制,叫作 long-term benefit trust(长期利益信托)。它本质上是一个机构,拥有任命多数董事会成员、也有权罢免多数董事会成员的能力。如果你沿着这个逻辑链一路看下去,它其实本质上拥有炒掉我的权力。

我们现在在考虑的是,引入一些成分——远远谈不上全部,但至少引入一点——某种公共治理元素。也就是说,你要对某个并不只是持有公司股票的人负责。这一点非常重要,而且无论公司将来发生什么,这种结构都会继续存在。我们也鼓励其他公司建立类似结构。

而在政府这一边,我认为我们也需要制衡。国会现在已经公开有一些努力,试图把那些红线写进法律。所以我确实认为,立法部门和司法部门都必须更积极地发挥作用。因为这项技术——我害怕公司拥有它,但我也害怕政府拥有它。于是公司需要对政府形成制衡,政府也需要对公司形成制衡。

我们需要对这项技术进行基本监管。我认为我们需要开始做强制性的预发布测试,以及模型审计。

对我来说非常有趣的一点是,硅谷科技圈里有一群特定的人,最开始的立场一直是:哪怕只是要求对这项技术有一点透明度,哪怕只是做出口管制——都会像世界末日一样毁掉我们创造这项技术的能力,会扼杀创新。结果一旦他们看到第一个真正的危险——而我其实早就预期到了——他们又立刻开始大谈什么“国有化”,说政府应该直接接管一切。

拜托吧,各位。你们这是在两个极端之间来回摇摆:一会儿是最极端的反监管,“你只要多看我们一眼,就是在毁掉整个行业”;一会儿又变成彻底的共产主义式思路,“政府应该把一切都拿走”。

我们需要一种更有分寸、更温和的办法。而这恰恰是我们一直以来主张的,因为我们一直理解这项技术的力量。我们没有陷入恐慌。我们也没有否认它。我们看到了那条平滑的指数曲线,并且正在以恰当的方式回应它。

我们合作得非常顺畅,对方也理解这些问题;也总会有另一些部分更难相处。我认为这很正常。无论在哪一届政府里都会是这样,我们只能尽力去应对。

采访者:你职业生涯早期曾在百度工作,那是中国的大型科技公司。你当时在它位于硅谷的办公室工作。你对中国的立场也一直很明确。现在中国正在推出强大的开源模型,而且美国公司也在免费使用这些模型构建产品。这是一种威胁吗?

Dario:我们在这项技术上看到的一件事是,模型到底有多聪明,始终存在一种非常强的溢价。我们极少看到有人会更愿意去使用智能水平更低的模型。

当然,要说清楚的是,围绕那些离前沿较远的模型,也确实存在一个繁荣生态。有很多问题和任务,比我们需要前沿模型去解决的问题要简单得多。但再次强调,这仍然是一条指数曲线。那些远离前沿的模型,可能确实拥有类似于我们在 2023 年、2024 年看到的那种经济价值。但我们现在面对的是每年 10 倍增长,所以我们发现,前沿部分的价值总是比离前沿较远的部分大得多得多。

我觉得这是那些习惯于上一代产品时代的人不太理解的事情。对我来说,我不是一个以前就经营过公司的人,也从来不是那个上一代产品时代——尤其是社交媒体时代——的一员。所以我在那套世界里其实像个外来者,我也觉得很多人的直觉是错的。他们带着很多过去产品时代的经验法则,可我觉得这种“每年 10 倍”的模型指数增长会把那些经验法则全部打破。智能本身就是一个如此巨大的因素,以至于它压倒了其他一切。

所以我们反复看到,价值集中在前沿。

不过,我对某些落后模型真正担心的是它们的风险。我们今天拥有 Mythos 级别的网络能力。12 个月之后,我们会拥有更强得多的网络能力,但到那时,Mythos 级别的网络能力可能已经变成任何人都可以下载的东西。希望到那时我们已经把所有问题都修补好了。我不认为我们能阻止这件事,但我觉得这是一个很严肃的担忧。

采访者:你在百度看到的东西,塑造了你对中国的看法吗?

Dario:其实没有。我在那里只待了一年。我觉得我可能更多学到的是语音识别之类的东西。也许唯一一件让我有点在意的事是,我们获取大量语音识别数据的方式之一是——他们会用一种阴森森的语气说:“哦,在中国我们不在乎隐私,所以我们有这么多语音识别数据。”

但除此之外,我真正担心的是地缘政治层面的东西。我认为我们也有机会让 AI 成为一种支持民主的技术,让人们变得更自由,真正兑现“人人平等正义”的承诺。它也可能走向另一边。最终会走哪一边,取决于 AI 公司的行动,取决于政府的行动,也取决于我们所有人的行动。所以我认为我们肩负着一种责任。

递归式自我改进

采访者:你们这个领域里经常有人谈论一个时刻:AI 足够强大到可以改进自己,然后改进后的版本再改进自己,如此反复。你的有些研究员认为这个时刻已经很近了。那它到底还有多远?

Dario:我不认为那是一个单独的“时刻”。我认为那是一个持续的过程。我们其实已经在某些方面看到了,比如 AI 已经能够为下一代 AI 提出架构建议。

我会说,一年前,我们看到 AI 带来的 total factor productivity(全要素生产率)提升大概是 10% 到 15%。现在可能已经上升到 20% 到 30% 了。它也许还会翻倍。和所有事情一样,我们都身处这条指数曲线上。并不存在某一个时刻,AI 突然就实现了自我改进,或者突然就失控、变得不安全。

实际发生的是一条不断加速的指数曲线,而在这条曲线上的每一个点,我们都必须评估:现在是不是应该放慢一点?是不是应该对这项技术增加更多控制?我认为,这样的需求会越来越多。

但我认为,理解这一切的“罗塞塔石碑”还是那条平滑的指数曲线。再次强调,我觉得那些先前反对一切 AI 监管、然后一看到一个问题就想把一切都国有化的人,本身就是一个教训。那些一开始贬低 AI 力量,后来又说“天啊,它正在自我改进,它要失控了,我们必须全部关停”的人,也同样是一个教训。

在这些极端反应之间来回摇摆,对应对这项技术完全没有帮助。正确的回应、明智的回应应该是:我们不会恐慌。我们的应对措施会随着技术力量的提升而平滑、逐步地加码。

如果你看到有人在出现这种疯狂的摇摆反应,那就说明他们是被打了个措手不及,也说明他们并不严肃。

采访者:我听说你最喜欢的书之一是 The Making of the Atomic Bomb(《原子弹的诞生》)。

Dario:是的,没错。

采访者:你会在自己身上看到奥本海默(Oppenheimer )的影子吗?

Dario:我最认同的人物其实是 Leo Szilard(利奥·西拉德),也就是最早基本上提出“链式反应”这一想法的人。

你看,我的观点是:我们没法靠那种带有传奇色彩的个人英雄人物、或者试图把一切都置于自己中心的人物来渡过这一切。这里必须存在一种权力平衡。这里有很多拥有利益诉求的强大参与者,而这一切最终能对所有人有个好结果的唯一方式,就是让各种地方都存在制衡。

所以从某种意义上说,我反而把奥本海默看作一个失败案例,看作“不该发生的那种情形”。

采访者:你说过,文明崩溃的概率大约有 10% 到 25%。这绝对不是个小数字。有没有一种情景是,导致这种结果的恰恰就是 Anthropic 造出来的东西?

Dario:我当然希望不是。我的看法是,我们所采取的行动是在降低这个概率,而不是提高它。那个概率来自这项技术本身非常直接的一套“配方”:世界上存在很多国家,经济体系中存在很多公司,而且还会不断有新公司出现。如果这个空缺不被某一方填上,那就是我们现在身处的困境。

我们正在努力降低那个概率。我认为我们降低它的幅度,远远大于我们提升它的幅度。但这项技术的内在属性之一,就是它不可预测。所以我们会尽量在发布之前把某个东西建出来、反复测试。今天已经发布的这些模型并不危险——或者至少我认为,除了网络安全之外,它们还没有真正危险到那个程度。然后我们会在这个基础上继续迭代和学习。

所以这里面大概有上万种防御机制。公司内部有一半的工作,都是在尽可能降低风险。但它永远不会是零。

我想我会这样说:假设外面有一堆航空公司,而你说,好吧,我要做一家更安全的航空公司。这两件事可以同时成立:你的航空公司确实比其他航空公司安全 10 倍。但如果有人跑来问你:“你能保证你的飞机永远不会坠毁吗?”——那你怎么可能做得到呢?

采访者:但如果一架飞机有 25% 的概率坠毁,那你就根本不会坐上去。

Dario:没错。25% 这个概率太高了。我们正在努力把这个概率降到低得多、低得多。这才是目标。

采访者:你正在打造一种极其强大的东西,而且会因此获得巨大的利益。我们为什么应该信任你?

Dario:我对这件事的看法其实是:当任何一家公司刚刚起步的时候——尤其是在过去几年里,我们已经看到了硅谷这个整体的行为方式——如果你对我、对 Anthropic 一无所知,那么从“不信任”出发,其实是很理性的。

我认为硅谷已经失去了全世界很多信任,而它必须重新把信任赢回来。我们试图传递的信息是:我们确实不一样,但这种“不一样”必须通过我们真正做过的事情来赢得。

你可以同意,也可以不同意,但我们确实为我们的价值观站出来过。Mythos 那件事——不把这个强大的模型放出去,确实在商业上严重拖累了我们。在此之前还有一系列更小的事情,比如我们切断了某些模型的访问权限——我们没有被迫这么做。没有人要求我们这么做。那在当时让我们损失了数亿美元,而在那个阶段,数亿美元占我们收入的比重是相当大的。还有几年前 Claude 2 的延期——我们在这方面有很长的历史。

我们并不完美。我们会犯错。但我希望人们做的是,把这些历史整体放在一起看,然后问:如果你把这段整体历史加总起来,什么样的假设最能解释它?

人们当然必须自己作出判断,但我认为,最符合这段历史的假设是:我们是真诚地在努力做正确的事。我们并不完美。组织总会有功能失调的时候。我们也一直在努力修复、让它运作得更好。会有很多小失误,会有很多地方出问题。但从根子上讲,我们对如何做正确的事有一套诚实而认真的理解,而且我们正在努力把这套理解执行出来。

采访者:那我们就到指数曲线的另一边再见了。

Dario:希望如此。