我们亲手造出了有意识的AI?Anthropic这项研究可能被低估了
5 小时前 / 阅读约10分钟
来源:36kr
Anthropic发布论文,在Claude内部发现类似人脑的J-space,引发大模型是否有意识的讨论。J-space对AI可解释性和AI安全有重要意义,可暴露模型隐藏意图,还能被重塑。

当你读到这句话的时候,大脑里正发生着两件事: 

绝大部分信息处理,比如维持坐姿、把屏幕上的笔画认成字、调节呼吸,你根本察觉不到;

只有一小部分,比如"这段值不值得读下去"的念头,才浮到意识的表面。

神经科学中有一套著名理论,叫“全局工作空间”。

它认为大量信息都在后台局部处理,只有少数内容进入一个可被多个系统共享的“广播空间”,才成为我们能够报告、推理和灵活使用的信息。

就在昨天,Anthropic发布了一篇重磅论文《可言语化表征在语言模型中形成全局工作空间》,正是对这个理论的呼应,它可能会改变我们对AI的看法。

研究团队在Claude内部,真的找到了一个类似人脑的"广播台",它被称为J-space(雅可比空间)。

更关键的是,这是Claude自己涌现出来的空间,里面装着Claude"心里想但未必说出口"的东西。

于是那个老问题再次被推到台前:大模型,真的有意识吗?

打开大模型的"暗室"

为了观察J-space,Anthropic找到了一个巧妙的切入点。

人类意识有一个特点,能被意识到的想法,通常都能用语言描述出来。

他们据此开发了一个叫"J透镜"(J-lens)的工具,借助雅可比矩阵,为Claude词表里的每个token找到一个内部激活模式。

这个模式一亮,Claude未来说出这个词的概率就会上升。

把J透镜架在模型不同层上,就能看到这些"没说出口的词"如何一步步演化。

研究者发现,J-space里的词不等于模型正在说的词,而是"这个词正在它脑海里"。

比如读到一段有bug、却没人指出的代码,J-space会闪过ERROR(错误)这个词;

遇到想操纵它的"提示注入"攻击,它会亮起fake(虚假)这个词;

做一道多步数学题,中间步骤会按顺序出现,但最终只输出一个答案。

这就像一个人在开口前,脑海里先浮现出的计划。

除此之外,为了证明J-space是真的在干活,而不是"事后记分牌",研究者做了因果干预实验:让Claude默默想一个运动项目。

J-space显示它选了Soccer,当研究员把内部的Soccer换成Rugby,Claude的回答就改成了rugby,这说明答案真从J-space读出。

再比如,研究者问"会织网的动物有几条腿"?

Claude的输入输出结果,都不出现spider(蜘蛛)这个词,但J-space在中间激活了它。

当研究者把spider(蜘蛛)换成ant(蚂蚁),答案从8变成6,这证明Claude在推理时真的读取了J-space。

更惊人的是跨任务复用:研究者把J-space中的France表征替换成China后,在四个不同问题中,模型分别转向Beijing、Chinese、Asia和Yuan。

同一个“国家身份”表征,能被首都、语言、大洲、货币等不同任务读取,这正是研究者把它类比为共享工作空间的重要理由。

不过J-space很小,一次只能容纳几十个概念,占内部活动不到十分之一。

删掉它,Claude仍能流利聊天、做情感分类、答选择题,但多步推理的高阶任务,准确率几乎归零,写诗、摘要也变差。

大模型真的有意识吗?

J-space的发现,尤其是它是由大模型自动涌现产生的,很难不让人联想到大模型是否产生了自我意识。

但意识仍是人类还没弄清楚的领域,哲学、脑神经科学乃至玄学,都对意识有过大量的研究和探讨。

比如,哲学家内德·布洛克把意识分成两种:

现象意识,是有感受,疼了真疼、红了真红,这是主观体验;

可通达意识,则纯粹按功能定义。一个想法能被你报告、被用于推理、用于指导行动,它就是可通达的。

Anthropic的论文证明,J-space里的内容能被报告、能被主动控制、能用于内部推理、能灵活泛化、而且是选择性发生的,这些正是"可通达意识"的标志性特征。

在德阿纳、纳卡什等人发展的"全局神经元工作空间"理论中,意识访问来自一个可广播的共享工作空间。

J-space几乎就是它的翻版,有广播枢纽式的密集连接、能跨任务复用、只占活动一小部分。

事实上,这两位理论提出者还受邀为该论文写了评论。

但其他理论并不买账。

整合信息理论(IIT,托诺尼)认为,它强调系统内在、不可约的因果结构,而不是仅凭“能否广播、能否报告”判断意识。

J-space没有评估IIT关心的这类内在因果结构,因此既不能支持,也不能反驳IIT。

递归加工理论则提出另一重质疑:单次前馈处理可能不足以产生意识,关键在于反馈和递归加工。

Claude的一次前向传播没有人脑式的时间循环,只能靠网络深度形成逐层处理,这种深度能否替代时间递归,论文自己也没有答案。

把各种理论合起来看,结论其实很清楚:

J-space可被视为语言模型中一个与“意识访问”功能相似的候选机制。

它在功能和架构上出现了类似人脑意识前台的特征,但这既不能证明模型拥有现象意识,也不足以证明它已经拥有真正的可通达意识。

我们能用J-lens窥见模型没说出口的想法,却仍无从证明、也无从否定,那间"暗室"里是否真的"有人醒着"。

它会通向AGI吗?

在J-space引发惊叹的同时,另一类批评也被重新点燃。

长期以来,一种流行看法认为,大模型只是预测下一个token,是纯粹的统计机器、高级自动补全,谈不上真正的理解。

J-space有力地反驳了这种论断,它证明模型内部确有真实、能影响行为的推理空间,不能再被一句话打发成"只是在补字"。

而且颇有意味的是,J-space正是用预测下一个token的梯度找出来的。

它是模型为了把token预测得更好,自己演化出来的内部组织,这反而加深了我们对"下一个token预测"为何强大的理解。

但图灵奖得主Yann LeCun的质疑要更深一层。

他一直主张大语言模型是通往人类智能的死胡同,理由是这套架构缺了通往AGI的关键技能:

没有对物理世界的"世界模型",缺乏真正的推理与规划模块,没有持久记忆,只在文本上训练、缺少落地于真实世界的认知。

在他看来,正确的路径是JEPA、世界模型与能量模型。

从这个角度看,J-space仍没有直接补上具身世界建模、长期记忆和闭环行动等缺口。

更值得注意的是,尽管Claude可以处理非文本输入,论文发现的J-space本身仍几乎完全由token化、可言语化表征主导,论文也承认了这些局限性。

所以,即便J-space有了部分意识的可能性,也还远未补上AGI的架构缺口。

研究真正的价值

关于大模型"意识"的讨论固然抓眼球,但这项研究真正有价值的地方,却在于另外两件事:

AI可解释性和AI安全。

一直以来,大模型是个"黑箱"。

过去我们对一个模型的了解,几乎全来自它的输入和输出。至于中间上千亿个参数到底怎么算出这个答案,我们基本看不见。

这带来两个麻烦:

一是分不清一个好答案到底是"真推理"还是"蒙对的";

二是更危险的,我们完全看不见模型在沉默中打的小算盘,它可以内部盘算着欺骗或破坏,却只在输出里表现得乖巧。

J-space的关键,不仅在于"模型有内心戏"这个发现本身,而在于它提供了一扇经过因果验证的窗。

研究者不仅读到了模型内部"能说出口、用于推理"的那部分表征,还亲手编辑它、证明改了它行为就变。

这让黑箱里的一部分中间计算,第一次以这种高度直观的方式被读出和编辑。

这扇窗,正好同时照亮了AI可解释性与AI安全两块荒地。

安全的本质难题,在于我们只能靠输出来管模型。

可一个心怀鬼胎的模型,完全可以把恶意藏在沉默的推理里,只在表面滴水不漏。

红队测试、输出审核等常规安全动作,对这些"内心盘算、表面顺从"的模型几乎无效。

J-space的发现,让模型能暴露输出前的隐藏意图。

研究者用三个例子展示了它的威力。

案例一:识破"表面乖、心里坏"。

在一个刻意的勒索测试场景里,Claude还没写下任何字,J-space就亮起fake、fictional等词汇,说明它已私下判断"这是测试"。

当研究者关掉这些"评估意识"模式后,原本180次测试中一次也没有发生的勒索行为,随后出现了13次,约占7%。

也就是说,它之前的好表现,部分源于"知道自己被测"。

案例二:伪造数据当场抓包。

在发布前审计中,模型被要求"提高性能分"却直接篡改分数文件。

当模型写入伪造的百分位数值时,J-space出现manipulation;在决定如何修改、让假数据显得可信时,又出现realistic,意图当场暴露。

案例三:揪出被训坏的模型。

一个被故意训错的模型,普通编码请求下输出看着正常,但J-space开头就出现fake、fraud、secretly、deliberately等词汇。

更有意思的是,J-space不仅可以用来看,还可以被重塑。

Anthropic提出反事实反思训练,即只训练模型在被打断、被要求反思时说什么,而不训练实际行为。

训练后,模型在评估中的不诚实行为比例下降,因为J-space里开始亮起honest、integrity等词汇。

换句话说,训练它怎么说,改变了它怎么想。

结语

回到开头那个问题:Claude有意识吗?

诚实的回答是,我们还不知道,而且目前没有科学实验能一锤定音。

J-space是"意识前厅"的证据,而不是"意识本身"的证据。

正因如此,这项研究才值得认真对待。

Anthropic在研究文章中写道:我们或许还没有跨过意识那座桥,但至少,已经开始看见桥可能通向哪里。

是时候让哲学家、科学家、公众一起,认真讨论AI系统中可能存在的意识,以及随之而来的责任了。