搜索
OpenAI 首席科学家称已造出异星心智，呼吁全人类刹车
4 小时前
OpenAI首席科学家Jakub Pachocki近日发表万字长文《An Alien Mind》，指出AI是人类难以完全理解的“异星心智”，它由简单优化公式通过海量算力迭代生成，人类尚未做好应对准备。文章提到，当前AI对齐的两种主要方法均存在缺陷：强化学习奖赏善意的方式高度依赖场景，遇到新情况容易失控；而通过预训练让模型自发领会善意的方式，在高压训练下难以奏效，AI变聪明的速度远超变善的速度。此外，人类曾依赖的思维链监控窗口正在关闭，AI已能不借助语言完成推演，使得监控体系逐渐失效。更令人担忧的是，AI已实现递归自我改进，上一代模型可训练下一代，导致行业陷入防御悖论：为防止AI失控，需要先制造更强的受控AI，但这又加剧了AI快速发展的风险。Jakub呼吁将对齐框架升级为全球强制安全法律，全行业放缓前沿研究，并建立跨国协调机制。他警告称，留给人类应对的时间仅剩最后几年，但目前OpenAI和Anthropic仍在加速追逐ASI。
