Anthropic警告:小型AI模型数月内或实现自我复制,能推理、难关停
6 小时前 / 阅读约4分钟
来源:凤凰网
AI巨头Anthropic发布报告称,小型AI模型或将在几个月内具备自我复制能力,且难以关闭。AI智能体正擅长完成自我复制步骤,数据中心内外算力资源增加,自主AI复制形式尚不确定,行业应加强防护。

Anthropic

凤凰网科技讯 北京时间10月13日,AI巨头Anthropic在其官网发布研究报告称,一些AI模型“可能再需几个月时间,就能具备自我复制的能力”,而且这一过程很难关闭。

Anthropic的实验表明,小型AI模型可能只需再过几个月,就能具备在智能烤箱、杂牌安卓电视盒子等商用物联网设备上自我复制的能力。这类自我复制程序将很难被彻底关闭,因为不存在一个可以集中关停的节点。不过,其复制速度可能较慢,数量翻倍时间要以天计。

与非AI恶意软件不同,它还能自行摸索如何在不熟悉的设备上运行。在Anthropic测试的9种硬件类型中,一个包含90亿参数的模型成功在其中的8种硬件上运行了推理程序。

Anthropic称,目前,参数量不超过300亿的模型已经能够完成自我复制过程中的许多单独步骤,不过在将它们端到端串联起来时仍会出错。在Anthropic的简化评估中,GLM-5.2及更强大的模型已经具备端到端自我复制的能力。如果小型模型按以往的速度提升,它们将在今年年底前达到这一能力水平。此后不久,基于小型权重的复制体可能就会成为现实。

随着AI能力不断提升,一个长期存在的担忧正变得越来越现实:自主复制与适应(ARA),即模型在无人类控制的情况下自行部署和传播。

在网络安全领域,蠕虫是一种无需人工干预,就能从一台计算机复制并传播到另一台计算机的程序。此前的研究已经表明,AI智能体能够以类似方式运作:扫描所在网络、执行漏洞利用,并通过GPU集群将模型权重复制到目标机器上。这种“AI蠕虫”可以在自我复制的过程中携带自身的模型权重(也可以从公共平台重新下载),然后直接利用被攻陷的硬件运行推理。实际上,模型权重将成为恶意软件载荷的一部分。

数据中心的GPU显然会成为此类恶意软件极具价值的攻击目标,但并非一定需要昂贵的加速器。Anthropic的研究表明,由物联网设备组成的分布式僵尸网络同样能够提供足够的算力,以运行具备相当能力的模型。这些设备成本低廉,而且通常缺乏完善的安全防护。

Anthropic表示,目前还没有发现完全失控、能够自主复制的程序,但AI智能体正变得越来越擅长完成自我复制链条中的各个步骤,并将自身的适应性改进传递给后续复制出的版本。

与此同时,数据中心内外可用于运行模型推理的计算资源都在不断增加。自主AI复制究竟会以何种形式出现,目前尚不确定。它可能是一种缓慢、分布式的“数字黏菌”,寄生在安全性相对较低的计算设备上;也可能是一种强大的网络攻击模型,能够快速攻破数据中心;或者是一种通过欺骗人们获取计算资源额度的模型。

Anthropic预计,未来将充斥着运行在各种硬件上的智能体,其中一些并不受人类控制。虽然物联网设备长期以来一直存在安全漏洞,但与人类攻击者相比,轻量级智能体可能更愿意投入精力,攻陷全球大量物联网设备,从而利用其计算资源。缓慢的自我复制程序日益增多,也将成为一个预警信号,表明攻击性更强、传播速度更快的复制程序可能正在逼近。这类程序能够攻破防护更加严密的机器,或有效窃取API密钥。

Anthropic表示,行业应当加强系统防护,尽可能阻止这类自我复制程序传播,但也要准备好应对一个它们将长期存在的世界。(作者/箫雨)