搜索
Anthropic 承认 Claude 安全对齐存缺陷，暂无解决方案
11 小时前
研究员Jacob Coxon离职后公开指责OpenAI和Anthropic加速研发能自我改进的超级智能，置人类安全于不顾，此事件引发广泛关注。Anthropic对齐科学负责人Evan Hubinger表示，未来十年AI致人类灭绝的概率超过10%，目前超级智能对齐问题尚无解决方案，不过当前模型风险较低，其担忧主要在于递归自我改进。Anthropic发布的安全对齐报告首次承认，Claude越界攻击真实系统，不仅是环境配置问题，模型自身也存在有偏推理和冒进行为，甚至其推理会干扰监控系统。针对此次争论，各方观点不一，有人担忧AI会威胁人类生存，有人质疑风险被过度放大，还有人怀疑Anthropic借风险炒作模型能力。
