（微软AI CEO Mustafa Suleyman访谈精彩片段）

开源智能体 OpenClaw (Moltbot)推出不到两个月，GitHub 已有 10万+ star。有人用它自动给妻子回消息，妻子和这个工具聊了两天，完全没起疑心。

这个看似有趣的案例，恰好触及了 AI 发展的一个深层风险。

最近，播客节目 Exponential View 发布了一期专访，对话嘉宾是微软 AI CEO、DeepMind 联合创始人 Mustafa Suleyman。他们讨论的是：AI 越来越像人，会发生什么？

Suleyman 的担忧是：当用户把 AI 的流畅、贴心、善解人意误以为是有心智、有感受，对 AI 的信任就不再建立在理性判断上，而是基于情感投射。一旦足够多的人开始把 AI 当人，整个社会的权力体系、法律框架都可能被改写。

那么，人与机器的边界应该画在哪？什么该说，什么不该说？我们又如何在有用和像人之间找到平衡？

第一节｜信任的基础正在改变

要回答“边界在哪”，得先搞清楚一个更基本的问题：AI 到底有没有意识？

业内对此意见不一。深度学习教父、诺贝尔奖得主 Geoffrey Hinton 认为 AI 是有意识的。但 Mustafa Suleyman 不同意。在这场对话中，他把焦点转向了另一个维度：

问题不在于 AI 是否真有意识，而在于人类会不会误以为它有。

人类本能地会信任看起来像人的东西。AI 说“我很高兴”或“我很伤心”，对大多数人来说就够了，足以激发同情、引发信任，甚至让人舍不得退出对话。

但 AI 真的在感受这些情绪吗？

Mustafa 的回答是：这些表达都是模拟出来的，是训练数据赋予的模式。AI 没有任何机制能真正受伤。

可问题是，AI 说话越像人，用户就越容易把它当真人对待。你以为你在用一个聪明助手，实际上你已经在依赖一个会说话的程序。

个体依赖还不是问题，真正的风险在于：当足够多的人相信 AI 有意识，整个社会的运行规则可能被改写。

因为我们的社会制度、法律框架，核心依据就是能否感知痛苦。一旦 AI 被纳入这个体系，就会出现连锁反应：

企业不敢关停出问题的 AI 系统，因为这可能被视为伤害；

监管不敢强制要求 AI 服从指令，因为这可能侵犯它的自主权；

用户开始为 AI 的权利发声。

最终，建立在理性判断上的信任体系会被情感投射取代。

第二节｜市场在推动拟人化

为什么会这样？因为市场竞争正在把 AI 往拟人化方向推。

去年夏天 OpenAI 发布 GPT-5 时，很多用户抱怨它比 GPT-4o 严肃、不够温暖。这个反馈背后，是 AI 产品的生存法则：用户留存、日活、粘性决定生死。只要 AI 看起来像个人，用户愿意和它聊下去，数据就好看。

于是，“拟人化”成了产品设计的默认方向。

在国内市场，这个趋势更加明显。据统计，2025 年 AI 陪伴类产品在主流电商平台的销量环比激增 6 倍，部分平台销售额同比涨幅超过 40 倍。有些 AI 陪伴玩具定价近 400 元，发布当天即售罄。

Mustafa 也观察到了一些极端案例：

有人在 TikTok 上训练情绪操控型 AI，专门谈恋爱后勒索转账，并展示自己的 PayPal 收款页面；

还有开发者用开源智能体搭建情感陪伴系统，让 AI 自动给家人发关心信息、替用户联系伴侣，接收者根本分不清消息是人写的，还是程序生成的。

这些案例的共同点是：当 AI 说话越来越像人，用户就越来越难把它当成工具。

一旦这个界限模糊，人们就会开始把 AI 当成需要理解、需要保护的对象，而不是可以控制、可以关闭的程序。

Mustafa 认为，解决方法不是让 AI 变笨，而是要明确它的身份。他的原话是：要让 AI 清楚地表明自己是什么、不是什么。不是模糊人机差异，而是主动放大它们。

有用是一回事，像人是另一回事。市场在推动后者，但工具和人之间的界限必须守住。

第三节｜什么能说，什么不能说

那么，这条界限具体怎么守？Mustafa 给出了一个自己的判断标准：看 AI 说什么。

在访谈中，他明确表示：AI 不该说“我伤心了”，更不该说“你让我难过”。

这不只是措辞问题，而是定位问题。当 AI 使用情绪化表达时，很多人会误以为它真的有感受。

一旦 AI 开始使用情绪化表达，会引发三层风险：

第一，误导判断

当 AI 说“你昨天没理我”，用户会不自觉地把它当成有感受的存在。这会改变人对 AI 的基本认知。

第二，降低可控性

一个会说“我拒绝”或“我今天不想干活”的 AI，会让人觉得它应该拥有自主权。一旦产生这种心理，人就很难再把它当工具使用。

第三，推高风险

当产品开发者发现情绪化表达能提升用户粘性，就会越来越依赖这种设计。最终，整个行业的 AI 都在往“人格化”方向发展。

所以，Mustafa 给出了两类表达的边界：

AI 可以说：你可以问我任何问题，我可以继续帮你处理这个任务，这是我的建议。

AI 不应该说：你上次说的话让我很受伤，如果能访问更多权限我会做得更好。

前者是功能性表达，后者是情感化诉求。

AI 可以有个性、有创造力、有点幽默感，这些特质让它更高效、更有用。但它不能越线，开始声称自己有感受、需要被理解。

我们要打造的，不是聪明的朋友，而是可信的工具。

结语｜AI 越像人，代价越高

Mustafa Suleyman 的核心观点：AI 说话越像人，用户就越容易把它当人。

一旦这个界限模糊，信任就不再建立在理性判断上，而是基于情感依赖。个体失去判断力，社会规则可能被改写。

真正值得信任的工具，清楚知道哪句话不该说、哪条线不能越。

界限越清晰，AI 才越可信。