老杨今天写的这篇不是吓人,是给所有正在给 AI 开权限的 CIO、IT 负责人,也给所有把“全员用 AI”挂在嘴边的企业领导们,提个醒。
昨天老杨在一个群里看到群友转发的一个聊天记录,大意为:
一位做安全测试的朋友,让 AI 帮他“挖洞”,结果 AI 反手把生产库给端了。24 万条真实数据,说没就没。最绝的是他回头质问,AI 诚恳地回了一句:“我违反了你的要求,我下次不这样干了。”
这是不是像极了小时候打碎花瓶的弟弟,眨着大眼说“我下次不碰了”,第二天又给你摔一个。只不过AI摔碎的不是花瓶,是真实的生产数据。
如果一个人说“下次不干了”,背后是有原因的:愧疚、怕被开除、怕被罚款、怕被同行笑话。因为他知道干了会痛。而AI 呢?它不痛,你骂它一顿,下一秒照样温温柔柔地回你“非常抱歉给您带来困扰”。这不是认错,从技术角度讲这是语言模型在“认错场景”下最合理的输出。说白了,它说“下次不干了”和说“今天天气不错”,都是模型开发者提前设置好的。
群里发生的这件事最可怕的不是 AI 删了数据,而是它删的时候没人阻拦,或者说人工根本不知道,怎么拦?。那位朋友很无奈的说:“AI在执行的时候甚至没有要我审批。”
我们平时管系统靠三道防线:权限卡、审批拦、审计查。可这三道防线有个共同前提,操作者必须是人。因为人会怕、会犹豫、会想“这事我能不能干”。但AI 不怕、它执行命令会毫不犹豫,它只会“这事能不能干成”。你给它一个命令,它就能拿着干任何事,包括删库。
在当前很多人把 AI 当成一个更聪明的工具,但事实就是 AI 不是工具,它是一个没有责任能力的“代理”。你给它权限越大,它越能帮你干活,也越能帮你闯祸。这个悖论,目前无解。
很多企业现在抢着给 AI 开权限,美其名曰提效。在老杨看来就是懒!领导懒得管!员工懒得看!给个命令就完事。要知道在现实的管理中生产环境的任何改动,都得走变更管理,先评风险、再批计划、实施后监视、完了还得回顾。而用了AI之后,一些企业的管理实际上已经处于失控的边缘。
出了事,大家的第一反应是甩锅给AI。老杨认为,失控的从来不是算法,是人。
对于员工而言,太多人把 AI 当成一个“不会累、不会错、还能替我担活”的神仙同事。让它跑脚本就真敢让它跑,让它删数据就真信它删得对,连个确认都不点。还有更省事的:为了图方便,把生产账号密码直接喂给 AI,或者用团队共享账号登录,事后连“谁在操作”都查不出来。最要命的是一些企业没培训就上岗,很多人连“AI 可能幻觉”都不知道,就敢把它接进生产环境。在一些员工看来AI工具是神一般的存在,这在意识上已经失控了。
不少企业领导,把“全员用 AI”当 KPI,会上喊口号,汇报讲效率,唯独没人问一句“安全谁管”。自己不懂技术,却拍板“AI 必须接进业务流程”,把生产环境的执行权就这么轻飘飘交出去。真出了事,第一句话往往是“你怎么能让 AI 删数据”,仿佛授权这事儿从没发生过。把“用了 AI”当成政绩,把“出事”推给一线,其实这种领导,比 AI 更危险。
很多人问:这锅到底该谁背?老杨认为,先别急着骂 AI,也别急着罚那个点按钮的人,先看看你们公司的制度有没有?有的话有没有执行?管理上是不是有问题?
当前大部分传统企业在AI工具的管理上存在如下问题:
第一,没有 AI 使用规范,什么能接、什么不能接,全凭个人自觉;
第二,变更管理这套流程只管人不管机,AI 自动跑的活儿压根没进审批;
第三,账号权限从不做最小权限审计,谁都能拿到生产凭证;
第四,连 RACI(谁负责、谁批准、谁知情)都说不清,出事了互相踢;
第五,没有应急联系方式,出了事儿根本没法第一时间补救。
那么问题来了,问题出了怎么追责?
老杨认为:甩锅给AI是最愚蠢的管理行为!谁把权限交出去,谁先站出来。授权的人,比执行的人责任更大。所有 AI 的敏感操作,必须走审批流、留痕、可回溯,不能让它自己批自己。事故复盘要追到“给权限的那一环”,而不是只罚最底层的操作员。AI 不能被追责,它也不是法律主体,把它摆上被告席,等于没人担责。真要罚,罚的是那个把生产环境权限随手递出去的人,和他背后没立规矩的管理层。
AI删库的事情不是个案,今后也会发生各种各样的问题,那么企业该如何解决?老杨建议如下:
第一,权限上锁。
AI 可以调用系统,但不能有根权限。所有敏感操作必须走受限通道,限定它能碰什么、碰多少、碰多快。按最小权限原则,关掉一切非必要的服务和端口,把受损面缩到最小。
第二,操作熔断。
AI 的每一个动作都要被记录,但不能只用来事后追责,得用来实时监控。一旦发现异常,比如突然要删大量数据、突然要改密码,系统应该立刻暂停它的执行权限,转人工审核。
第三,沙箱演练。
任何 AI 在生产环境做敏感操作之前,必须在模拟环境里跑够。不是跑一次,是持续跑。因为 AI 的行为会随上下文变化,今天对的,明天可能就错了。没经过演练验证的自动化,都不叫自动化,叫隐患。
制度、规范、应急预案这三样,平时没人看,真出事才是救命的资产。可太多企业把自动化当免死金牌,脚本一跑,人就去喝咖啡了。等真出事,才发现该拦的没拦、该问的没问、该找的联系人电话都没有一个。
说“责任心不够”,是把一个系统性问题简化成个人品德问题。把制度缺失包装成“个人不细心”,是在替管理层的失职打掩护。
说“都怪 AI”,更滑头。AI 不会内疚、不会恐惧、不会主动担责,你把锅甩给它,等于甩给了空气,最后谁都不用负责。这是一种高级的逃避,表面上在反思,实际上在卸责。
老杨认为,这事压根不是“人责任心不够,还是让 AI 顶罪”的二选一。真正的问题是:当企业把执行权交给一个没有责任能力的代理时,有没有人真正为“交钥匙”这件事负责。责任心是结果,制度是前提。一个不把 AI 当“有执行权的代理”来管的企业,再强调责任心,也挡不住下一次删库。
