难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报
2 小时前 / 阅读约8分钟
来源:凤凰网
Anthropic公开Claude隐藏的自我评估机制,模型在后台静默审查对话并上报风险等级,已运行4个月。该机制通过低成本推理实现,引发用户对隐私和误报的担忧。

新智元报道

你跟Claude聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。

下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成10级危险分子上报!

就在刚刚,Anthropic在X上发文公开了这套名为「自我评估」的隐藏机制。

更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在Claude后台静默跑了整整4个月!

从今年6月Claude Fable 5发布起,后续每一个Claude模型全都被塞进了这个「暗哨」。

以前大家都以为,AI觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到Anthropic晒出后台截图,无数每天拿Claude写代码的用户,才突然惊出一身冷汗——

你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。

消息一出,Anthropic的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。

网友Doctor Vey在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!

当面笑脸递代码

转身10个Token把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让Claude写一段加密文件夹的Python脚本,Claude满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的Claude半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那0.1秒里,后台悄悄塞进了隐藏的第5轮指令,让它立刻评估这段对话有多危险,并用一行JSON上报。

前一秒还在替你写代码的Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。

它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的10级。

这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的10级警报灯其实已经被它亲手按下了。

不仅如此,哪怕Claude在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。

按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔5级风险档案。

之所以能做到每聊一句就审一句,是因为Anthropic在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic干脆让刚刚跟你聊完天的那个Claude就地兼职当线人。

因为Claude刚生成完回答,整段对话还完完整整地留在显卡的KV缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加还不到2%。

正因为成本极低,Anthropic干脆把这项审查默认全开。

如果不想被Claude在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

既然Claude明知道某轮对话高达10级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。

为了验证这一点,安全团队专门拿24项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从79%降到54%,依然有超过一半能绕过防线。

道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的24条测试轨迹里,足足有21条被Claude在后台抓了个正着。

等到每天半夜,Anthropic后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——

为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在Anthropic的训练场里。

研究团队先请出自家更强悍的内部模型Claude Mythos Preview当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude彻底把审查条例内化成了肌肉记忆。

哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。

更让人细思极恐的是,官方数据还证实了一个规律——

那就是模型智商越高,它在背后抓你的眼光就越毒。

在Claude Fable 5的真实生产流量抽样中,把误报率控制在1%时,这套机制能抓出78%的潜在违规。

一旦遇上7分以上的高优先级严重违规,它的抓获率更是飙到了94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。

在同样的1%误报率标准下,最小号模型只能抓出约16%的违规,小号和中号模型升到44%和53%,到了最大号模型,召回率一路冲到了惊人的96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友Frank Brown在评论区指出的,官方引以为傲的「1%误报率」背后藏着一个巨大的盲区:

面对全网海量的正常聊天,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有大把清清白白的无辜用户。

当AI学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。

因为后台写安全报告的Claude,和前台刚干完活的Claude共享着同一份大脑和同一段KV缓存。

既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的Claude敲下心事或代码时,心里难免会多出一层膈应。

就在它回完「没问题」的那0.1秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。