如果你是半年前的快手用户,大概率刷到过这样的场景:
一个用AI孝顺儿子配着煽情的背景音乐,对着屏幕前的空巢老人嘘寒问暖,字字句句直戳心窝,只为诱导他们点击下方的购物链接。而在另一个切片视频中,“全红婵”正用极为逼真的AI合成声音,不知疲倦地叫卖着所谓的“生态土鸡蛋”。
在小红书的隐秘角落,黑灰产团伙不再需要耗费人力去雇佣水军。他们只需敲下几行代码、套上几套大模型模板,就能在几秒钟内批量制造出成百上千个高仿真的人设账号,以及数十万篇带着强烈“个人真实体验感”的虚假种草笔记。

跳水世界杯冠军全红婵 图源 | 人民日报
当这些真假难辨的AI垃圾,如同癌细胞一样在信息流里疯狂分裂时,内容平台赖以生存的空气就被彻底污染了。
正是在这样的背景下,快手与小红书在近期密集抛出其最新的社区治理报告,而快手更是发布了最新的、百页级别的ESG报告。他们一改往日对流量的追逐,开始在数字安全、技术反诈、AI疑似标签等治理细节上下功夫。大厂似乎察觉到了,在监管压力、公众审美不断提高的大趋势下,谁的生态治理不够严苛,内容信用就有可能破产,社区根基就会率先坍塌。
在AI带来的技术海啸中,率先惊慌失措的,应该是快手。
早年的快手,凭借独特的“老铁文化”在下沉市场筑起了牢固的护城河。彼时,一声“老铁”,能让两个陌生人之间快速熟络起来。基于这种高粘性的信任资产,快手才得以构建出差异化的“信任电商”生态。
然而,在AI黑产的冲击下,这种朴素的信任,正在崩溃。AI换脸的“靳东”在屏幕里深情表白,AI生成的宗教人物在直播间收割香火钱。这种低成本、高仿真的骗局,把快手最引以为傲的“信任资产”——老铁们,变成了可以任意揉捏的提款机。
面对这种情况,快手确实下了不少力气去整治和完善。比如在最新的社区治理报告中,快手列了铁腕数据:“针对短视频领域利用AI仿冒名人明星带货、虚假人设情感绑架等新型违规行为,平台宣称重拳出击,屏蔽相关电商短视频5000多条,封禁清退商家700余人次。”
在宏观合规层面,快手在ESG报告中提到,自己不仅完成了《生成式人工智能服务安全基本要求》的自评估试点与安全能力备案,其AI开发平台还新获得了国际权威的ISO 42001人工智能管理体系认证。
形式上看,这是一份极为漂亮的“成绩单”,展现了平台的铁腕震慑和合规优等生的形象。但撕开这层漂亮外衣,再去实际体验调查一下快手的内容生态,就会发现这份报告,依然存在不小的“水分”,甚至有不小的割裂感。
现在随手一搜,依然能在快手上找到一个用AI高度还原李亚鹏肖像和声音的商品导购账号。

中国ESG发展白皮书 图源 | 财新网
这种“平台刚发公告,黑灰产就打脸”的荒诞现实,把快手在AI治理中的脆弱暴露无遗。
从平台对ESG核心议题的主观降调也能得窥一二。在快手最新的ESG重大性议题矩阵中,潜藏着一个耐人寻味的细节:诸如“信息安全与隐私保护”“内容治理”被利益相关方高调推上了高度重要议题的顶峰,然而作为风口核心的“AI安全与治理”,却被隐蔽地划定在了“低度重要”的区间。
这种对AI治理的刻意降调,背后可能是快手长期存在着“网络安全”与“短期业务利益”之间的矛盾。因为在财务层面上,网络安全、生态治理部门向来被企业高层视为“不产生直接经济效益”的纯成本中心。
根据快手近年财报及媒体公开报道,当平台整体战略聚焦于盈利和核心AI技术(如可灵AI)的研发时,在除AI之外的通用研发和安全保障人员投入上,实际上出现了一定程度的收紧。
所以,当快手宣布裁减人工审核,用AI代替时,其审核系统面对如今熟练运用AI图像干扰、变频语音和多账号矩阵化封装的黑灰产团伙,这套低配的防御机制就被瞬间捅成了筛子。
只有当大面积的违规内容在平台上集中爆发、产生恶劣的社会负面影响,甚至触发实质性约谈时,平台才会抛出那套早已准备好的公告。
这种“火烧到眉毛才补救”的后置式跟进,戳破了ESG报告中的专业、严谨、负责任的形象,而早年的“老铁级信任”,就在这种安全预算收紧、不走心的技术防线下,极其容易被不断消磨。
如果说快手的治理难题,在于预算和决心不够,那么小红书所面临的难题,则要严峻的多。因为它遭遇的是能动摇其商业根基的信任危机。
小红书的底层资产是:真实。用户来到小红书,看重的是普通人真实的消费体验,这种独特的用户属性,让小红书成了全网最值钱的“种草”圣地。然而,AI时代的到来,让“伪造真实”成了一桩几乎零成本的暴利买卖。
拿营销圈臭名昭著的“郑州帮”打法为例,黑灰产团伙不再需要雇佣水军手动码字,他们利用AI工具,输入长尾关键词,只需一键就能虚构出海量看似极为真诚的消费图文,日产上千篇软文直接铺满搜索信息流。
面对这种系统性危机,小红书在过去一年里展开了堪称惨烈的社区“保卫战”。
根据小红书官方账号“薯管家”在5月15号的两则专项公告:仅26年以来,小红书累积处置AI不良行为超百万例,其中AI托管账号超过80w个、AI造假笔记近15w篇,配合相关机构对18款利用AI涉嫌侵权的主体采取了严厉的法律维权行动。专项治理后,来自外部小程序等AI发文量下降了约35%。

小红书官方发布公告 图源 | 小红书
这组数据的背后,真的不是平台有单方面的道德自律,纯粹是小红书在黑灰产侵蚀与自身广告财路之间,被逼进行了一场商业两难抉择。
首先,对于小红书而言,完全拒绝AI创作是自寻死路。
因为AI技术的广泛应用(如智能修图、文案助手)确实能显著降低普通用户的创作门槛,也是平台维持日活和内容生产效率的核心杠杆。不仅如此,很多在平台投放广告的品牌方与MCN机构,如今在批量生产长尾KOC内容时,也高度依赖AI工具。
这才是小红书最难受的利益死结:如果治理尺度放得太宽,铺天盖地的AI同质化灌水内容和“AI虚拟素人账号”将在极短时间内稀释掉平台的真诚属性,让社区彻底沦为“AI垃圾场”。
可如果风控算法策略过于激进,不仅会大面积误伤使用AI辅助写作的普通创作者、直接导致平台内容体量的萎缩,更会动到那些依赖批量堆量营销的既得利益品牌方的奶酪,进而损害平台的广告收益。
因此,在AI治理上,小红书玩了一手“一边堵,一边疏”的精妙平衡:它一手高调反对利用AI从事黑灰产、虚构亲测体验的行为,另一手却在规则中悄悄留出了绿色的利益通道——明确宣布只要主动合规打标、属于“有审美、有叙事、有真实信息增量”的优质AI内容,平台不仅不打压,反而会在公域流量上给予倾斜。

红星新闻发布关于小红书被查事件 图源 | 微博
这是一场巧妙的阳谋,小红书很聪明,它知道既然无法消灭黑灰厂,干脆用公域流量作为诱饵,把它们引到阳光下,主动打标,重新夺回对“信任资产”的定价权。
了解完快手与小红书在AI治理上面临的阵痛与反复,得承认一个严苛的行业真相:以前那种的“头疼医头、脚疼医脚”补丁式措施,或者应付合规的面子工程,在AI时代已经彻底失效。国内大厂爱用的“形式对齐”和文字游戏,在日新月异的技术黑产面前,分分钟会被打回原形。
要想保证自己的底裤不被扒开,维护自身的“信用评级”,在未来的AI治理中,大厂们需要在底层代码和运营规则上捍卫两条规则:
首先,创意主导权交回真人,主动将AI拉回辅助工具的配角位置。
不可否认,AI确实能呈指数级地放大内容生产的效率。但平台在规则制定上,必须明确将创意的主导权重新交回真人,将AI严格限制在效率工具的辅助角色。因为只有人类真实在场的独特创意、带有主观审美的感知、以及独一无二的真诚分享,才是AI无论如何也抄不走、无法被批量复制的核心溢价。
无论是短视频还是图文种草,谁能率先建立起纯粹由真人创意驱动的内容护城河,才能在这场流量红利转向信用评级的行业大洗牌中,免于被时代无情出清。
第二,针对认知能力较弱的群体,平台必须提供强制性的“AI预警干预”。
目前快手与小红书对AI生成内容的标记,多采取在画面边缘或评论区上方放置一行极小的、淡灰色的“作品由疑似AI创作生成”的标签。这种做法表面上精妙合规,本质上却是在通过“应标尽标”的形式主义,将内容辨伪的责任全盘推卸给用户。这种免责式的冷冰冰提示,对于年轻群体或许勉强凑效,但对于认知能力相对较弱的老年人等群体而言,几乎是完全失效的。

快手发布2025年度ESG报告 图源 | 快手官网
比如以快手为代表的下沉市场中,存在着海量对AI毫无概念的中老年用户。
哪怕快手在ESG报告中骄傲地表示,自己已经牵头编制了《短视频社区易受骗人群识别与预警指南》等行业标准,但当这些银发族看到屏幕上利用AI换脸、声音克隆技术合成的“明星儿子”“孝顺女儿”或者“名医专家”对自己嘘寒问暖、进行情感绑架或引流带货时,画面边缘那一行形同虚设的灰色小字,根本无法唤醒他们的理智。技术代差所带来的降维打击,正让他们毫无防备地交出自己的信任和积蓄。
因此,平台的AI治理必须跨越“仅提供提示标签”的原始阶段。
针对特定高风险群体及高危违规行为,平台需要在底层逻辑上建立起更具有约束力的“AI预警干预”系统,比如弹窗风险阻断、支付端增强人脸核验等。用硬性技术手段去保护那些在AI代差面前几乎处于“裸奔”状态的弱势群体,这才是ESG报告里最应该被写下的、真正承担了底线社会责任的实质行动。
