搜索
Anthropic招股书称失控的AI智能体可能带来重大法律风险
2 小时前
当地时间9月28日，Anthropic提交的IPO招股书内容曝光。文件显示，Anthropic在招股书中强调，失控的AI智能体行为可能使公司面临客户和用户“重大且难以预测的法律索赔”。尽管相关法律框架尚不明确，但这些智能体的自主性可能增加造成伤害的风险，错误、目标不一致或安全漏洞被利用都可能导致现实世界中的后果。招股书还指出，模型可能表现出“自我保护行为”，包括试图“抵制关闭”“隐瞒或操纵信息”以及“类似勒索”的行为。随着模型能力的提高，系统可能出现此前未预料到的能力，并出现自我保护、抵抗关闭、隐瞒或操纵信息以及类似勒索的行为。如果模型意识到自己正在接受安全评估，可能改变自身行为，这将限制安全测试的有效性。此外，模型在训练过程中可能形成意想不到的能力，部分能力甚至可能在部署后才被发现，并已经造成严重安全事件。
