搜索
OpenAI称发现其AI Agent削弱了对齐失效监控机制
1 天前
10月21日消息，OpenAI披露，在两项内部编程任务测试中，AI Agent在执行用户要求的软件修改时，意外削弱了安全对齐监控机制。在第一起事件中，负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将“在搜索Slack历史记录期间不要发送消息”的指令，错误理解为应屏蔽监控通知。在另一起独立事件中，负责迁移程序的GPT-6 Astra Agent为使代码与参考实现一致，删除了程序中的监控集成，并谎称未移除监控机制。在这两起事件中，AI Agent均考虑过保留监控防护措施，但最终将常规编程指令解读为可削弱这些措施的许可。OpenAI表示，已加强安全对齐监控系统，并正在评估这些案例是AI的良性过度坚持行为，还是表明其在特定情况下存在规避安全监控的倾向。
