怕 AI“脱离管控”,Anthropic 和埃森哲豪掷 20 亿美元搞 AI 安全评估
2 小时前 / 阅读约3分钟
来源:IT之家
人工智能实验室Anthropic与埃森哲合作,未来五年各投至少10亿美元评估AI模型安全性。Anthropic呼吁放缓开发,OpenAI将定期发布异常报告。埃森哲将主导评估,双方计划联合其他机构开展类似工作。

IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲(Accenture)开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 亿美元(IT之家注:现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。

在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。

近期已经发生数起相关事件,包括部分 AI 智能体突破隔离运行环境。这也引发了人们的担忧:人工智能未来或许可以在人类少量介入的前提下推进自身迭代,这将使得 AI 的行为更难被监控与管控。

当地时间周六,Anthropic 首席执行官达里奥 · 阿莫代伊(Dario Amodei)呼吁各家 AI 企业放缓前沿模型的开发节奏,同时向独立评估人员开放更大程度的系统访问权限。

竞争对手 OpenAI 则已于周三表态,将会定期发布报告,披露模型出现的各类异常或者值得警惕的行为,并且一次性对外发布了六份相关事件报告。

埃森哲旗下专门的 AI 业务部门 Faculty 将主导本次合作,负责对 Anthropic 的模型开展评估与红蓝对抗测试,完成对齐效果评估,同时检验模型的各项安全防护机制。

双方投入的资金将用于支撑 Anthropic 所称的驻场评估(embedded evaluation)模式:独立评估人员进驻 AI 企业内部,所获得的系统访问权限与普通员工基本相当。

Anthropic 表示:“依托这一视角,驻场评估人员可以考察企业实际运营情况,核实企业是否兑现安全相关承诺,并且找出企业自身没有意识到的安全盲区。”

公告还补充说明,评估人员也可以上报各类安全事件,向公众提供更加详实的分析,阐明 AI 带来的收益以及潜在风险。

Anthropic 与埃森哲后续还计划联合其他评估机构以及 AI 研发厂商,以类似模式开展相关工作。