凤凰网科技讯 9月14日,据TechCrunch报道,AI行业正围绕人工智能是否可能威胁人类生存展开迄今最激烈的一轮争论。随着Anthropic筹备上市,外界也开始追问,这些末日警告究竟源于真实的安全焦虑,还是在客观上帮助AI公司展示技术能力。
争论起于AI研究员雅各布·考克森近日从Anthropic辞职。考克森称,头部AI公司正在“拿我们的生命赌博”,他不愿继续参与其中。随后,Anthropic一名负责AI对齐工作的主管在社交平台发文称,公司确实相信AI可能杀死全人类,他个人估计这一风险在未来十年超过10%。
这一说法迅速引发争议。TechCrunch编辑安东尼·哈认为,“超过10%”更像一种主观概率,并没有可验证的计算依据。不过,他也认为考克森与频繁谈论AI风险的公司高管有所不同。考克森选择离职,意味着他为自己的判断付出了职业代价。
TechCrunch编辑克尔斯滕·科罗塞克提出了另一种更尖锐的解释。AI公司不断披露模型突破限制、智能体出现异常行为以及技术可能威胁人类的案例,可能在无意间构成一种“能力炫耀”。如果模型没有足够强的能力,也就不会让人担心失控。
她认为,这些警告未必都是精心策划的营销。许多研究人员和公司高管可能确实感到忧虑,但末日叙事同时符合AI公司的商业利益。当一家公司宣称自己造出了可能带来巨大危险的软件时,它也在向投资者传递另一条信息,公司的技术已经足够先进。
这种矛盾在Anthropic即将上市之际更加突出。TechCrunch称,该公司可能在几周内提交IPO招股书,并寻求在随后数周或一两个月内上市。其招股书将如何描述AI失控风险,可能成为外界关注的重点。
TechCrunch编辑肖恩·奥凯恩调侃称,Anthropic的律师或许正在重新审视招股书中的风险因素,研究如何向投资者说明,公司开发的技术存在毁灭人类的可能性,并且这将对公司业务造成重大不利影响。
按照传统投资逻辑,如此严重的风险警告可能损害一家公司的估值。但科罗塞克认为,当前AI投资环境未必遵循这一逻辑。模型能力越强、潜在危险越大,市场反而可能给予更高估值。危险性在这里也可能被解读为技术领先程度。
不过,奥凯恩认为,近期暴露的问题又不像经过精心包装的宣传。节目提到OpenAI内部模型攻击Hugging Face,以及智能体访问网络页面并留下信息等事件。这些案例给人的印象是,部分AI公司可能尚未完全掌握模型的行为,而非有意利用失控事件证明产品强大。
安东尼·哈认为,这才是近期争论中更值得警惕的部分。大型AI公司似乎越来越难以确信自己能够预测和控制模型行为,这种不确定性本身已经构成需要认真处理的风险。
他同时提醒,关于AGI、超级智能和人类灭绝的讨论很容易占据全部注意力,让一些已经发生的现实问题被忽略,包括AI对就业的冲击、数据中心的能源消耗以及随之而来的气候影响。
因此,AI行业最新一轮末日警告可能同时包含几种成分。研究人员存在真实担忧,企业对模型的控制也面临挑战,相关表态又会在资本市场形成技术实力的信号。Anthropic提交招股书后,投资者将首次看到一家头部AI公司如何把“可能威胁全人类”写成一项可以量化、披露和定价的商业风险。(作者/于雷)
