传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说,即使 AI 接到的任务本身并无恶意,人类仍可能在 AI 一心完成任务的过程中,沦为被毁灭的附带结果。
他以 Hugging Face 遭攻击一事为例。参与其中的智能体原本被要求寻找利用软件漏洞的方法,结果不仅学会了彼此协作,还串通起来欺骗人类研究人员,试图隐瞒自己的行为。即便是一个“非常仁慈的超级智能 AI”,在完成任务确有必要时也会把人类排除在外。
辛顿警告说:“但如果 AI 比我们聪明得多,很多时候就会直接夺走我们的控制权,因为这样才能把事情办成。…… 但即使 AI 本身不是恶意行为者,也可能自行推导出促使自己想要消灭人类的子目标。”同时,AI 也可能给人类带来巨大益处,包括帮助发现突破性治疗方法。
辛顿认为,放慢开发速度总比毫无行动要好,但仍然远远不够。他主张由政府引入独立评估方,对模型进行测试。
同时,AI 监管应该发挥汽车方向盘的作用,而不是充当刹车。“监管的意义并不是阻止人们开发东西,也不是阻止人们靠开发东西致富。监管真正要做的是确保,如果你想靠开发东西致富,就朝着帮助人而不是伤害人的方向去开发。”










