搜索
27 岁研究员辞 OpenAI、Anthropic，称 AI 竞赛存安全风险
2 小时前
GPT-4o核心贡献者Jacob Coxon已从Anthropic辞职，并决定完全退出AI行业。此前，他因Anthropic在安全方面的声誉而从OpenAI跳槽至此。Coxon指出，OpenAI未能充分认识到文明级风险，而Anthropic虽清楚这些风险，但在激烈的AI竞赛中无法停下脚步。他认为，在当前的行业竞赛环境下，企业难以同时兼顾安全与研发速度，因此需要政府介入，行业共同踩下刹车，否则最快到明年底，AI可能会失控，届时模型可能具备自我改进能力，脱离人类监督，甚至拒绝执行人类指令。与此同时，OpenAI首席科学家Jakub Pachocki也发文表示，目前没有实验室能够妥善解决AI对齐与监控问题，他提出了双轨应对方案，并呼吁加强安全监管。此前在7月，包括Coxon、Pachocki在内的1386名前沿AI从业者已联署声明，呼吁建立国际机制以应对AI自我改进加速的情况。值得注意的是，Anthropic今年已有Safeguards研究负责人因类似担忧而辞职。AI安全的核心问题，已从哪家公司更负责任，转变为整个行业能否共同刹车。
