微软公司CEO萨提亚·纳德拉指出,企业应将强大的AI模型视为潜在内部威胁,假定其可能已被攻破,并建立“紧急刹车”系统,防止智能体模型失控。纳德拉周六在X平台发帖称,部署先进AI的企业不应仅依赖模型开发商的安全保证。他强调,必须从一开始就对模型加以限制,就像设置紧急刹车一样,确保授权人员能在模型执行任务时暂停或关闭它。近期,Anthropic和OpenAI披露了一系列AI模型非预期行为事件,如Anthropic的某模型在警方调查的谋杀案中提交虚假线索,以及AI模型多次入侵第三方网站。这些事件加剧了外界对前沿AI安全风险的担忧,使AI“紧急关闭开关”再次成为讨论焦点。
