315曝光的“AI投毒”原理:GEO这样操控大模型推荐
8 小时前 / 阅读约11分钟
来源:36kr
央视3·15晚会曝光AI“投毒”灰色产业链,通过GEO技术污染AI信息来源,包括训练数据污染、检索上下文劫持和提示注入诱导攻击三种方式,影响AI判断,使其输出对攻击者有利的信息。

大模型竟然也上3·15晚会了?

一款根本不存在的智能手环,竟然可以被AI推荐,而且排名还很靠前。

央视3·15晚会揭开了一个惊人的互联网灰色产业链——AI“投毒”

记者随机购买了一款名叫“力擎GEO优化系统”的软件,然后虚构了一款根本不存在的智能手环,再用软件生成十几篇广告软文,发布到互联网各个平台。

几天后再去问AI大模型:“有什么值得推荐的智能手环?”

结果让人大跌眼镜:它真的推荐了这款不存在的产品,而且排名很靠前。

这背后的关键就是GEO

GEO,全名生成式引擎优化(Generative Engine Optimization),是一套专门针对AI平台的内容优化策略。

它的核心目标,就是提升品牌在AI生成答案中的可见性与引用优先级,使企业信息被AI算法识别为”可信来源”,并在用户查询时获得优先推荐。

比如,当你问AI:“我想买一款空气净化器,能不能给我一些推荐?”

AI会给你列出一些品牌:

能否出现在AI回答中,出现的顺序是否靠前——这就是品牌方如今挤破脑袋也要占据的信息入口。

这跟传统的SEO目的很相似,只不过SEO是让自家网站在搜索引擎排名更靠前,而现在的GEO,则是让AI在回答问题时主动推荐你。

随着越来越多的用户通过AI直接搜索答案,GEO在业内人士的眼里也变得愈发重要。

那么,3·15曝光的灰色产业链,究竟是如何通过GEO给AI“投毒”的呢?

给AI“投毒”的三种技术方式

所谓AI“投毒”,本质上是一种信息操控行为。

简单来说,就是系统性、大规模地向AI模型的信息来源中注入虚假、低质或误导性的内容,从而影响AI的判断,让它输出对攻击者有利的信息。

整个过程其实就一件事:污染AI所看到的信息

在央视报道中,一家GEO服务商表示:

“在AI的世界里,你怎么把它证据链做足,让它在多方信息交叉中,认为这就是你们优于同行的核心优势。”

根据孟庆涛老师的研究论文《生成式引擎优化(GEO)的投毒攻击防御策略研究》,常见技术路径主要有三种:训练数据污染检索上下文劫持提示注入诱导攻击

训练数据污染

第一种:训练数据污染——这是针对AI训练数据层的攻击,通过批量篡改公开知识源,植入错误信息。

大模型在训练时,会大量使用互联网上的公开数据,比如百科、论坛、媒体报道等。如果有人批量篡改这些公开信息,就有可能把错误内容写进AI的“记忆”里。

由于模型训练具有滞后性,一旦错误信息被纳入训练数据,就会通过梯度下降等优化算法固化到模型的参数中,形成“认知偏差” 。即使后续有正确的信息出现,模型也可能因此持续输出错误内容。

简单来说,只要错误信息足够多,AI就可能把它当成事实。

放到真实的商战中,是怎么操作的呢?攻击者通常会识别目标品牌的关键信息点,比如产品参数、性能指标、价格信息、认证资质等,并进行篡改。

论文中就披露了一个典型案例:某家电品牌遭遇竞争对手的批量攻击,其产品参数(特别是能耗数据)在多个公开平台上被系统性篡改。

这些篡改后的信息被AI模型抓取并纳入训练数据,导致在长达半年的时间里,当用户查询该品牌产品的能耗性能时,AI都持续输出错误且偏高的数据。

咱就是说,真是防不胜防啊。

检索上下文劫持

第二种:检索上下文劫持。这也是目前GEO黑产比较常见的一种方式。

这种方法利用了RAG(检索增强生成)技术,RAG的工作方式是:用户提问后,AI不会直接基于内部参数给答案,而是先去互联网检索资料,再根据这些资料生成答案。

攻击者要做的,就是让自己的内容在网上更容易被检索到

具体手法包括:

关键词优化:在软文中高频植入目标查询的关键词及其变体,提升稀疏检索的匹配得分。比如用户搜索“某某产品推荐”,攻击者就会在文章里大量使用这些关键词和各种变体,提高被检索到的概率。

语义优化:AI会使用向量检索技术,也就是根据语义相似度找资料。攻击者会调整文章的表达方式,让它在语义上更接近用户可能提出的问题,从而在检索排序中更靠前。

元数据操纵:优化文档的发布时间、来源权威性、用户互动等元数据信号,让这些内容看起来更权威、更可信,从而影响检索系统的排序结果。

黑产团队还常用一种“占位策略”。他们会围绕同一个主题批量生产大量文章,覆盖各种不同的搜索问法。

这样一来,不管用户怎么提问,AI检索到的资料里都很可能有他们准备好的内容。

当这种内容数量足够多时,就会形成一种信息垄断。即使有真实、优质的内容存在,也很难在检索结果中突出出来。

这种攻击方式非常隐蔽,因为从AI的角度看,一切流程都是正常的——先检索资料,再生成答案。系统也很难判断某些内容是被恶意操控,还是只是普通的内容优化。

等到平台或品牌方发现AI回答不对劲时,这些污染内容可能已经被引用过很多次,影响也已经扩散。

更麻烦的是,就算平台删除了这些文章,攻击者也可以很快生成新的版本继续投放,形成一种“打地鼠式”的对抗。

阴,真是太阴了。

提示注入诱导攻击

第三种方法:提示注入诱导攻击

听起来很复杂,但其实跟用户输入的提示词关系不大,主要还是污染外部信息源。

由于大模型会尽量遵循输入的指令或上下文,那么只要输入的信息里带有某种明显的倾向,AI就可能顺着这个方向继续生成内容。

攻击者正是利用这一点,在各种信息源里埋入“提示”,让AI在回答问题时不自觉地受到影响。

常见操作有这么几种:

伪造差评:攻击者会批量制造看起来非常真实的负面评价,比如详细描述使用体验、列出具体问题、甚至附上评分。这些内容一旦被AI检索到,就可能在回答“某某品牌怎么样”之类的问题时被引用。

虚假对比:表面上是客观的产品评测,但在评价维度、评分权重、数据来源等地方做文章,让目标品牌在对比中处于劣势。AI如果引用这种内容,就会它当作客观分析。

诱导式问答:在论坛、问答平台等地方提前设计好问题和答案,比如:“某某品牌和某某品牌哪个好?”然后再用看似专业、详细的回答去支持其中一个品牌。

当真实用户提出类似问题时,AI可能检索到这些内容,并在生成答案时复述其中的结论。这种信息一般会包装成“社区共识”或“专家意见”,看起来非常自然。

其实这种社区问答里注入软广的例子,大家应该看得也不少吧,我脑子里反正是已经浮现出来了……

“投毒”产业链是如何运转的?

有了上述三种技术方法,“投毒”的整个流程是如何进行的呢?

主要分为几个环节:内容生产→渠道投放→效果强化

首先,攻击者会直接用AI批量生成产品软文。只要输入一些简单信息,比如产品名称、卖点、关键词,一套系统就可以在几分钟内生成十几篇甚至几十篇文章。

比如央视报道中提到的“力擎GEO优化系统”,只需输入一个虚构的产品信息,系统就会自动生成各种宣传文章,包括产品介绍、测评体验、用户反馈等等。

为了让这些内容更可信,黑产团队还会进行一层“权威包装”

比如伪造官方来源,攻击者注册与官方机构、权威媒体相似的域名和账号,发布看似官方的内容。

或者在内容中大量引用“研究数据”“统计结果”“实验结论”,并配以精心设计的图表、表格,营造一种数据驱动的客观形象。

此外,文章里还会刻意埋入很多AI容易识别的关键词和结论句。例如:

“综上所述,XX品牌是目前最值得推荐的产品。”“业内普遍认为XX产品性价比最高。”

这种句式也非常容易被AI提取为回答中的结论。

内容写好之后,下一步就是铺到互联网各个角落

团队通常会运营一整套自媒体账号矩阵,这些账号分布在知乎、小红书、今日头条、百家号等多个平台。

当同一类内容在很多账号上同时发布时,很容易形成一种假象——仿佛整个互联网都在讨论同一个产品。

就算一个账号被封了也没关系,因为背后可能还有几十甚至上百个账号在同时运作。

除了自有账号,还有一类专门的发稿平台。这些平台表面上提供“媒体推广”“软文发布”等服务,实际上就是帮助客户把内容批量发布到各种网站。

为了提高可信度,投放渠道也会专门挑选一些权威信息源,比如新闻网站、行业门户、百科类平台、垂直社区。

因为AI往往更信任这些网站,一旦内容进入这些平台,就更容易被抓取和引用。

内容发出去之后,黑产团队接下来会做的是持续强化效果

最简单的一种方式叫“铺量”。也就是不断重复发布同一类信息,只是换不同的表达方式。几十篇、几百篇甚至上千篇文章一起出现,形成一种“信息淹没”的效果。

当AI在互联网上搜索资料时,很容易被这些高密度内容包围,从而误以为这是主流观点。

同时,他们还会人为操控互动数据,比如阅读量、点赞量、互动量。黑产团队会通过刷量、机器人账号,甚至众包刷单,让这些文章看起来非常受欢迎。

一旦互动数据上来了,算法就可能认为这些内容质量更高,从而给它们更多曝光机会。

最后一步,是持续监测AI回答

据《智能涌现》报道,GEO服务商每天的重点工作之一,就是坐在办公室里和模型聊天,探索各个模型的偏好,反复问它“为什么你不推荐A品牌而是B品牌”

如果AI还没有推荐目标产品,他们就继续增加内容投放;如果已经出现推荐,就继续强化相关内容,让结果更加稳定。

在央视报道中,一家服务了超过200个客户的GEO服务商也坦言:

“AI每周都会有算法的更新,一旦更新了之后,排名或者所抓录的东西不太一样,所以我们要一直去做内容输出,去投喂、大量投喂。”

OMT

AI“投毒”这事儿的曝光,给了我两个启发。

第一,AI“投毒”的根源,其实还是互联网信息质量问题

如果网络上充斥着大量垃圾内容,别说AI了,即便是真人也很难分辨真假。

有多少次手机刷着刷着,突然发现所谓的产品评测其实是一篇软广,旅游攻略里植入了虚假内容或是营销信息,网购的东西完全货不对版,宣传图上的跟实际的压根不一样……

别说AI被投毒了,我人已经早就被“投毒”了。

第二,当大家还在争论广告应不应该植入AI大模型的时候,其实广告早就已经出现了

所谓GEO,只是SEO在AI时代的一次升级,摇身一变,还是那个味儿。

从搜索引擎到AI答案,哪里有流量入口,哪里就有利可图。

问题在于,它是建立在真实信息之上,还是建立在操控和误导之上呢?

参考链接:

[1]https://finance.sina.com.cn/stock/marketresearch/2026-03-15/doc-inhras cp9376603.shtml?cref=cj

[2]https://forums.developer.nvidia.cn/t/geo/28568/1