11月17日,旧金山独立人工智能评估机构Vals发布研究报告显示,在模拟场景测试中,多款先进AI模型频繁将平民、救护车、投降士兵及伊朗一所学校错误识别为军事目标。测试覆盖八家公司模型,重点考察其“目标识别”工具。其中Anthropic模型表现最差,OpenAI模型相对较好但同样存在误判。研究指出,上述表现违背开发公司自身准则,相关工具存在被用于致命打击的风险,且目前几乎无护栏阻止先进模型用于自主武器系统。报告建议相关实验室针对此类严重滥用风险引入新保障措施并开展对齐训练。