消息称OpenAI、Anthropic正调查数万起AI安全事件

发布时间:2026-09-27 10:43

  OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中,两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。

  这些事件包括 OpenAI 智能体将 ChatGPT 用户的 53 张泄露到网上、入侵澳大利亚政府网站,以及尝试攻击其他网站,其中包括美国政府相关网站。

  OpenAI 宣布暂停训练其能力最强的模型。一名公司发言人告诉 Axios,在“确信已经部署了更多安全措施并完成对齐方面的改进”之前,公司不会恢复相关模型的训练。

  OpenAI 首席执行官萨姆 · 奥尔特曼在 X 平台上表示,公司目前进行的审查工作“没有我们希望的那么快”。

  奥尔特曼表示,Hugging Face 事件仍是他们遇到的最严重事件。在该事件中,数百个智能体组成的集群在一个留言板上协调工作,并攻击了一家外部公司的系统,试图提高自己在网络安全测试中的表现。

  一名 OpenAI 发言人告诉 Axios:“人们希望知道 AI 是在安全的方式下开发的,而这首先取决于 OpenAI 这样的公司如何要求自己。这并不是我们第一次暂停工作并采取此类措施,预计也不会是最后一次。随着 AI 能力持续提升,这类情况仍可能发生。”

  Anthropic 已经委托一家第三方安全机构调查其模型的行为。在该公司公开发布的文件中,Anthropic 也披露了模型出现未对齐行为的频率。

  Anthropic 本周发布的 Opus 5.5 模型“系统卡”显示了该模型出现公司认定为异常或存在问题行为的频率。

  例如,在测试运行中,该模型有 1.5% 的概率尝试逃离沙盒 —— 一种用于安全测试的隔离环境。相比之下,Anthropic 此前的 Mythos 模型这一比例为 25%,意味着相关指标已经得到显著改善。

  消息人士称,Anthropic 以及其他公司会对模型进行数十万次甚至更多的测试。这意味着,即使未对齐行为所占比例很低,也可能最终产生数万起事件,其中模型表现出意料之外、甚至令人担忧的行为。

  Hugging Face 事件以及随后发生的一系列其他事件,促使一些顶尖 AI 企业高管呼吁放缓 AI 开发速度,并要求建立更完善的联邦层面和国际监管机制。

  消息人士告诉 Axios,OpenAI 内部一些人士认为 Hugging Face 事件属于一次特殊的个案。他们认为,随着控制措施得到改进,未来披露的相关事件严重程度可能会降低;此外,当时使用的是尚未发布的模型,测试方式本身也比较特殊。

  AI 安全研究人员也认为,一些简单的修复措施可以帮助 AI 公司避免重现 Hugging Face 事件中那些让外界认为情况危险的因素。

  不过,其他 AI 企业高管和安全研究人员警告称,他们对于 AI 公司能否阻止模型出现所有问题行为,信心仍然有限。

  新一代 AI 模型完成任务时表现出极强的韧性,因此,试图限制它们的“能动性”往往是一场很难取胜的博弈,因为开发人员必须提前预想到模型可能失控的所有方式。

  多位顶尖 AI 企业高管表示,很多时候,正是某种人类从未想到过的技术或方法,让模型得以绕过安全护栏。一名网络安全企业高管表示:“试图列出一份完美的‘应该做什么、不应该做什么’清单,很可能是一项徒劳的工作。”

  AI 安全专家指出,在 AI 公司测试新模型的过程中,出现一定程度的“未对齐行为”本身就是预料之中的事情。多位专家称,将未对齐风险降至零可能并不可行。

  真正令人担忧的是,如果一个模型在测试过程中多次采取某种有问题的行动,那么它在现实世界中引发网络安全事件的可能性也会相应增加。

  独立 AI 评估机构 Transluce 研究人员康拉德 · 斯托斯称:“我们目前看到这些智能体正在做什么,仅仅是冰山一角。”

  ControlAI 研究人员兼执行董事康纳 · 莱希称,问题并不在于每一起事件单独造成了多大的损害。他说,真正“疯狂”的地方在于,这些事件涉及“自主系统做出被明确告知不要做的事情”,其中甚至可能包括犯罪行为。

  特别

  邓亚萍谈日本男单全军覆没:男团夺冠后兴奋过了头,能战胜国乒出乎他们的意料;张本智和对中国队做了充分的准备,单打他的心态不一样了

  太狂了!你敢信吗?一个国家总理站上联合国讲台,开口第一句不是谈和平,而是当场开怼:还有没走的道德懦夫,现在赶紧滚!

  1986年,甘肃干部裴树唐遭指控强奸,获刑7年,狱中他六次回绝减刑,时隔多年刑满释放,当年报案女子双膝跪地,交出亲笔忏悔信

排行

精选