搜索
辛顿
凤凰网科技讯 北京时间8月6日，据《商业内幕》报道，有“AI教父”之称的计算机科学家杰弗里·辛顿(Geoffrey Hinton)表示，他担心AI会发展出自己的目标。
辛顿在周二发布的Newsthink采访中表示：“我们实际上正在创造一种新的存在形式(new kinds of beings)。它们拥有目标。我们赋予它们目标，它们会从这些目标中推导出其他目标。”
“我们并不一定知道它们会推导出什么样的其他目标，”他补充说，“所以，我们正在创造一种新的存在形式，我认为这非常可怕。”
他举了一个假设场景：用户给一个AI聊天机器人设定目标，要求减少大气中的二氧化碳含量。
“它足够聪明，会算出最好的办法就是干脆消灭人类。”他表示，以此说明AI可能会追求人类用户从未想过的目标。
辛顿还提出了一个他称之为 “更令人担忧” 的假设场景：一个被训练成故意给出错误答案的聊天机器人，可能会学会 “说谎是可以接受的”，即使它 “完全清楚” 自己给出的答案是错误的。
“这非常可怕。”他说。
辛顿并未提及OpenAI近期发生的智能体入侵Hugging Face安全事件。但这一于上月披露的安全事件，却让人们对AI智能体在执行指定目标时可能采取意外行动的担忧，真实的暴露在现实世界中。
辛顿并不是一位置身事外的旁观者。他在神经网络领域的开创性工作，为推动深度学习热潮奠定了基础，而深度学习的发展改变了AI领域。他还因在机器学习方面的贡献获得了2024年诺贝尔物理学奖。
自AI热潮开始以来，他一直反复警告，在AI系统变得更加强大之前，人类必须解决让AI与人类利益保持一致的问题。去年在拉斯维加斯举行的Ai4大会上，辛顿表示，先进AI的设计应该具备“母性本能”，让它希望保护人类。
“我们必须弄清楚如何设计这些新的存在形式，”辛顿在周二的采访中表示，“我们如何设计它们，让它们更关心我们，而不是关心它们自己？”(作者/箫雨)
