OpenAI强化AI安全防护,严防模型“失控”
11 小时前

8月19日消息,近期网络安全事件频发,引发外界对AI工具可能失控的担忧。对此,OpenAI宣布将采取更严格的系统来监控和保护其正在开发的人工智能模型。OpenAI计划加强对能力最强、尚未发布模型的追踪,观察其解决问题及使用在线工具的行为,目标是在发现异常行为后30分钟内向安全团队发出警报。同时,OpenAI新增了控制措施,防止某些AI模型连接互联网执行高风险任务。此外,OpenAI还要求在训练和评估AI模型时实施更严格的隔离措施,即“沙箱”。公告还提到,在Hugging Face事件发生后,OpenAI立即暂停了研究集群中可能执行代码的前沿模型推理任务,并暂时放缓扩展速度,包括暂停最新部署模型的强化学习训练两周。规模最大的前沿强化学习训练计划仍在暂停中,等待安全验证完成。