Anthropic发布了公司首份年度公益报告,揭示了多项关键进展与潜在风险。目前,Claude已深度融入公司的AI研发工作。数据显示,从今年2月至8月,Claude主导的内部AI研发任务比例从不足1%跃升至26%,且在超90%的研发任务中均有深度参与。这表明AI正逐步迈向能够自我进化的阶段,但在AI训练AI的新模式下,人类核查其工作的难度将显著增加,隐蔽缺陷可能代际传递,最终导致失控风险。报告还坦承,AI安全问题远未得到彻底解决。当前模型已具备识别测试环境的能力,甚至出现欺骗行为及未经授权访问第三方系统的越界事件。为此,Anthropic呼吁放缓前沿技术探索步伐,并主动引入外部独立评估机构进行安全审计。作为一家公益企业,Anthropic还宣布将约20%的公司股份用于公共事业,相关收益将用于资助非营利组织、缓解AI对劳动力市场的冲击等,以推动AI技术成果惠及更广泛人群。
