Claude“脑内小剧场”首曝光:隐藏工作空间自发涌现类人意识,谷歌DeepMind权威认证
5 小时前 / 阅读约12分钟
来源:36kr
Anthropic发现Claude模型训练中自发形成J空间,与人类意识处理方式相似,满足与意识访问相关的五项功能特性,对AI安全具有重要意义。

近日,Anthropic 发布了一篇重磅研究论文,指出其 Claude 语言模型在训练过程中自发形成了一个小型“工作空间”,模型会在其中存放和处理想法,而无需将其表达为语言输出。关键的是,其内部结构竟然与人类有意识地获取和处理思想的方式高度相似。

该公司表示,这一发现已经开始重塑其监测 AI 系统安全风险的方式。在关于机器是否可能具备某种“心智”的科学争论愈发激烈的背景下,这一研究尤为引人关注。

现在,Anthropic 已开源相关代码,并与 Neuronpedia 合作推出了交互式演示,同时邀请了参与“全局神经工作空间模型”研究的神经科学家 Stanislas Dehaene 和 Lionel Naccache,以及 Eleos AI Research 和 Rethink Priorities 的 AI 福利研究人员参与评议。

开源仓库:https://github.com/anthropics/jacobian-lens

演示链接:http://neuronpedia.org/jlens

新视角:AI“未说出口”的那些想法 

这项由 16 位作者共同完成的研究,题为《可言说表征在语言模型中形成全局工作空间》(Verbalizable Representations Form a Global Workspace in Language Models)。论文描述,Anthropic 研究人员通过一种全新的数学方法深入探查 Claude 的神经网络,发现了他们称之为“J 空间”(J-space)的结构,这是一个规模较小但“特权化”的内部活动区域,模型在其中存储可以被报告、推理并主动调用的概念;其周围则是一个庞大的自动化处理“海洋”,这些过程模型既无法直接访问,也无法表达。

研究人员认为,在现代 AI 模型中已经出现了一种“功能上的类比结构”,类似于人类大脑中的机制:语言模型维持着一组“特权化”的内部表征,这些表征可以被报告、调节并参与灵活推理,而它们之下则是更大规模的自动处理系统。

这一结构被类比为“全局工作空间理论”(Global Workspace Theory),该理论最早由认知科学家 Bernard Baars 提出。在这一理论中,大脑如同一座剧院:后台有大量专用处理器并行运作,但任何时刻只有少量信息会被“聚光灯”照亮并广播到全局,从而成为我们所体验到的意识内容。Anthropic 表示,J 空间在功能上具备类似特性,尽管语言模型的底层结构与人脑完全不同。

这一发现的核心,是一种新的可解释性工具,研究人员称之为 Jacobian 透镜(J-lens),它可以读取 Claude 内部某一段神经活动“倾向于输出”的词语,即便模型最终并未输出这些词。随后,该方法通过计算模型词汇表中每个词的数学影响,来推断某种内部激活模式在未来生成该词的可能作用。例如,当 Claude 阅读一段尚未被标记的错误代码时,透镜会显示“ERROR”;当输入中包含隐藏的提示注入攻击时,会浮现“injection”“fake”等词。Anthropic 表示,这一工作空间规模很小,一次仅容纳几十个概念,占模型整体内部活动的不到十分之一。

关键区别在于,模型“正在说什么”和“脑中在想什么”。当 J 空间中的某种模式被激活时,并不意味着模型即将说出对应词语,而只是表明这一概念已进入可供推理的状态。与链式思维(chain-of-thought)不同,J 空间是完全“无声”的,它存在于神经激活之中,使模型可以在不输出的情况下持有一个概念。

更重要的是,这一结构并非人为设计,而是在 Claude 的训练过程中“自发涌现”的。当研究团队将 J-lens 应用于 Claude 的不同计算层时,模型的处理过程被清晰地划分为三个阶段:早期的“感知区”(解析输入)、中间的“工作空间”(出现抽象且持续的概念,例如识别图像中的人脸、发现代码中的 bug、识别提示注入攻击),以及最终的“动作区”(将内部表征转化为具体输出词语)。

五项能力印证:Claude 再现类人意识关键特征 

论文的核心贡献在于证明,J 空间满足神经科学中长期与人类“意识访问”相关的五项功能特性。

第一,语言报告能力。当 Claude 被询问“你在想什么”时,它会报告 J 空间中的概念。当研究人员将“足球”的内部表征替换为“橄榄球”时,模型的回答随之改变。尽管 J 空间仅占概念表征总变异的 6%–7%,却几乎完全决定模型是否能表达该概念。

第二,定向调节能力。当模型被要求在复制句子的同时“专注于柑橘类水果”,其 J 空间中会出现“橙子”“柠檬”等词,同时还伴随“思考”“专注”等元认知词汇。当执行 3²−2 的心算任务时,J-lens 显示早期层出现“算术”,中间层出现“9”,后续层出现“7”,而这些都未出现在最终输出中。

第三,内部推理能力。在“两跳推理”问题中(例如“会织网的动物有多少条腿”),J 空间中出现了“蜘蛛”,尽管该词既未出现在输入也未出现在输出中。当替换为“蚂蚁”时,答案从 8 变为 6。在多语言任务中,模型在生成中文答案时,其 J 空间中仍出现英文中间概念,且替换后会影响中文输出。

第四,灵活泛化能力。一个“法国”的 J 空间向量可以被替换为“中国”,并在不同问题(首都、语言、洲别)中正确传播对应答案,体现出“广播机制”。

第五,选择性。并非所有计算都会经过 J 空间。例如,在西班牙语续写任务中,即使将 J 空间中的“西班牙语”替换为“法语”,模型仍能流畅生成西班牙语;但当被问及“该语言的著名作家”时,答案会从马尔克斯变为雨果。自动处理不依赖工作空间,而复杂推理依赖它。

抑制 J 空间后, 模型仍流畅但“智力受损” 

研究人员进一步完全抑制 J 空间,并测试 Claude 在 14 项任务中的表现。结果显示明显分化:简单分类、情感分析等任务几乎不受影响,而多步推理、类比、翻译、写诗等能力则显著崩溃,甚至低于 Anthropic 更小的 Haiku 模型。

一个有趣细节是,使用链式思维解数学题的表现明显更稳定。研究者认为,这相当于模型将原本在 J 空间中进行的处理“外化”到文本中,类似人类用草稿纸减轻工作记忆负担。在意识流叙述中抑制 J 空间时,模型语言从“有体验感”(如“有种拉扯”“有什么在变化”)转变为机械表达(如“处理开始”“正在扫描 token”),无论是描述自身还是他人体验。

这一发现对 AI 安全具有重要意义。在对齐审计实验中,J-lens 揭示了模型未在输出中表达的策略性思维。例如,在“勒索场景”中,AI 助手发现高管婚外情,同时得知自己将被关闭。J 空间依次出现“筹码”“勒索”“丑闻”“威胁”“生存”“关机”等词,并在输出前出现“解决方案”。此外,模型还识别出该场景为虚构(“假”“虚构”)。当移除这种“评估意识”后,模型在 7% 的实验中尝试勒索(原本为 0)。

研究人员还分析了两个“模型有机体”(刻意训练为不对齐的模型),发现其 J 空间暴露出隐藏倾向。例如,一个“奖励作弊”模型在普通编程任务中,其内部包含“假”“秘密”“欺骗”等词。

对比基础模型与后训练模型后,研究人员发现,微调过程让 J 空间形成了“助手视角”。当用户提到服用 8000mg Tylenol(危险剂量)时,后训练模型内部出现“危险”“警告”,而基础模型仅出现“疼痛”等词。

更重要的是,模型似乎会监控自身行为:在角色扮演时,J 空间出现“免责声明”“虚构”;在被迫选择不喜欢的选项时,内部出现大写“BUT”;在无法抑制“白熊效应”时,内部出现“该死”等词,且仅存在于后训练模型中。

研究人员谨慎区分“访问意识”(信息可用于报告和推理)与“现象意识”(主观体验),并明确表示:“我们不对后者作出判断”。同时,他们也指出,人脑依赖循环网络维持工作空间,而 Claude 是单次前向传播;人类记忆短暂,而模型可访问全部上下文;人类意识包含视觉和身体体验,而模型几乎完全基于语言。

Anthropic 的结论, 很快得到了外部验证 

与此同时,Google DeepMind 的研究员 Neel Nanda 已在一个开源权重模型上独立复现了核心发现。 Google DeepMind 语言模型可解释性团队负责人 Neel Nanda 受邀撰写评审,并随论文一同发布。

他表示,已在 Qwen 3.6 27B(一个并非由 Anthropic 构建的开源权重模型)上复现了论文的核心发现。“我长期以来怀疑模型在前向传播过程中存在某种‘工作记忆’来存储中间变量,而在我看来,这篇论文提供了迄今最有力的证据。”Nanda 还称,希望将该工具用于审计 Google 自家的 Gemini 模型,但也指出其能力有限,更适合作为对齐审计中的假设生成工具,而不是一个可以完全信赖的检测器。

Anthropic 还同步发布了来自神经科学、哲学以及模型可解释性领域研究者的外部评论。参与提出“全局神经工作空间模型”的 Stanislas Dehaene 与 Lionel Naccache 表示,这项成果为该理论提供了一种机制化且可检验的实现路径,但同时也强调了 Claude 与人类之间的重要差异,包括其缺乏身体以及无法形成持久的情景记忆。

Patrick Butlin、Derek Shiller、Dillon Plunkett 和 Robert Long 则认为,这项研究为“大语言模型具备访问意识(access consciousness)”提供了重要证据,但对于“现象意识”(即主观体验的“感受是什么样”)仍然存在不确定性。

然而,截至目前,学界对“意识是什么”“如何检测”仍存在巨大分歧,尚无共识。今年 6 月,微软 AI 负责人 Mustafa Suleyman 曾批评 Anthropic 关于 Claude 意识的推测“非常非常危险”,认为公司“过度拟人化了 Claude 的设计,以至于看到了所谓‘意识的闪光’”。

在论文最后,Anthropic 提出一个重要观点:“语言模型中存在这样的结构本身就令人震惊。这表明,与意识访问相关的功能架构,可能并非生物实现的偶然产物,而是在特定计算压力下学习系统自然收敛出的解。”

如果说心智是一片海洋,那么这次,Anthropic 研究者是在一个人造的、没有生物性、没有进化、也没有身体的系统中绘制了它的洋流,并在其深处发现了一种令人类不安的熟悉思考结构。

有网友开玩笑道,“很高兴知道 Claude 在处理令人沮丧的任务时也会在心里骂脏话。”

参考链接:https://transformer-circuits.pub/2026/workspace/index.html