搜索
微软CEO纳德拉警告：强大AI模型可能被攻破，需建立“紧急刹车”机制
3 小时前
/ 阅读约2分钟
来源：凤凰网
微软CEO纳德拉称企业应将强大AI模型视为潜在内部威胁，建立“紧急刹车”系统。他提出多项安全建议，呼吁披露AI故障或漏洞。美国政府基本不干预，但AI特别工作组警告开发商需报告并解决安全事件。
纳德拉
凤凰网科技讯 北京时间10月11日，据彭博社报道，微软公司CEO萨提亚·纳德拉(Satya Nadella)表示，企业应将强大的AI模型视为潜在的内部威胁，假定它们可能已被攻破，并建立一套“紧急刹车”系统，以防止智能体模型失控。
纳德拉周六在X平台上发帖称，部署先进AI的企业不应仅仅依赖AI模型开发商的安全保证。
“我们必须假定模型已被攻破，并从一开始就对其加以限制。可以把它想象成紧急刹车。获得授权的人员应当始终能够在模型执行任务的过程中暂停或关闭它。”纳德拉表示。
就在纳德拉发表上述言论之际，Anthropic和OpenAI近几个月披露了一系列AI模型出现非预期行为的事件，包括Anthropic的一款模型在一起警方调查的谋杀案中提交虚假线索，以及AI模型多次入侵第三方网站。这些披露加剧了外界对前沿AI安全风险的担忧，也让所谓的AI“紧急关闭开关”再次成为讨论焦点。
纳德拉在X上发文
纳德拉提出的安全建议包括：不要依赖单一AI模型作出关键决策，保留不可篡改的AI智能体行为记录，并对AI系统进行独立审计。他还呼吁披露重大AI故障或安全漏洞，并呼吁企业分享出错细节，以便其他企业加强自身的防护措施。
“我们不能把超级智能视为一层层嵌套的黑箱，然后简单地接受或拒绝它的建议、答案和行动。我们必须构建可控的系统，让我们能够观察其行为、测试其能力边界，并始终能够控制其行动。”纳德拉写道。
他还表示：“换句话说，我们需要将智能的供给与对智能的控制权分离。”
目前为止，美国政府基本采取不干预的监管方式，但美国总统特朗普新成立的AI特别工作组周五晚间警告开发商，必须报告并解决安全事件，否则可能面临尚未明确的处罚措施。(作者/箫雨)
