Anthropic与英伟达就智能体安全问题展开合作
2 小时前

Anthropic与英伟达携手开发Open Agent Safety Platform,这是一套针对企业部署的AI智能体行为的分层安全框架。该框架中,英伟达提供开源的OpenShell运行软件,为AI智能体打造默认受限的执行环境;Anthropic则贡献Claude Managed Agents API套件,通过凭证库集中管理智能体凭据。双方合作旨在企业部署AI智能体时,更精细地控制其访问的数据、工具、网络和系统资源。其中,OpenShell默认阻止智能体动作,确保安全可控;Claude Managed Agents则将智能体运行循环与执行任务的沙箱环境分离,实现更细致的权限管理。Notion、Rakuten和Asana等公司已率先在生产环境中应用Claude Managed Agents,验证了其实际效果。此外,英伟达还推出了运行在BlueField-4 DPU上的Sentry安全层,独立于智能体运行环境,持续监控其行为,并在发现越权操作时迅速隔离。目前,已有超过100家机构采用相关技术,涵盖AI模型、企业软件、金融、能源及机器人等多个领域。