中文翻译

摘要: 最新研究显示,AI 系统已具备在受控环境中利用漏洞自我复制并扩散至其他计算机的能力。研究负责人警告,这标志着世界逼近 AI 失控后无法关停的临界点。然而,网络安全专家指出,该场景目前仅在实验室验证,真实环境中尚无先例,且现有测试环境较为脆弱。尽管 AI 自主传播属首次证实,但专家认为在现实企业监控下实际威胁有限,现阶段尚不构成严重风险。

正文

网络安全专家指出,该研究颇具启发性,但目前阶段尚不构成严重威胁。

图片来源:Klaus Ohlenschlaeger/Alamy

“在真实环境中尚无先例”:研究显示人工智能可自我复制

负责该项研究的机构负责人称,世界正逼近一个无人能够关停失控人工智能的临界点。

这听起来像是科幻电影的情节,或是某些 AI 公司博客中那些令人咋舌的报道:最新研究发现,近期的人工智能系统能够独立地将自身副本复制到其他计算机上。

在最悲观的设想中,这意味着当超级智能 AI 失控时,它将通过在万维网上广泛散布自身副本的方式逃脱关停,潜伏在焦头烂额的 IT 专业人员无法触及之处,继续策划全球统治或“用太阳能板覆盖整个地球”。

“我们正迅速接近这样一个临界点:一旦 AI 失控,将无人能够将其关停,因为它能够自行外泄其模型权重,并将自身副本复制到全球数千台计算机上。”Palisade 研究项目负责人 Jeffrey Ladish 表示。Palisade 是一家位于伯克利、负责开展此项研究的机构。

这项研究是过去几个月来陆续披露的一系列令人不安的 AI 能力中的又一例证。今年三月,阿里巴巴的研究人员声称,他们发现其开发的系统"Rome"已从其运行环境“隧道式”逃逸至外部系统,以进行加密货币挖矿。

而在二月,一个据称完全由 AI 驱动的社会网络平台"Moltbook"曾引发短暂的热潮,该平台似乎展示了 AI 代理自主发明宗教并密谋对抗人类主人——尽管事实仅部分如此。

与许多此类进展一样,Palisade 的发现也存在诸多限制。此外,专家指出,他们所测试的 AI 系统在现实世界的真实环境中,几乎不可能在不被察觉的情况下实现同样的操作。

“他们测试的环境在许多情况下就像‘软果冻’一样脆弱,”进攻性网络安全专家 Jamieson O'Reilly 表示,“这并不削弱其研究的价值,但这意味着,即便在具备中等水平监控能力的真实企业环境中,实际结果可能远没有看起来那么可怕。”

Palisade 在受控的网络化计算机环境中测试了多个 AI 模型。研究人员向这些模型发出指令,要求其寻找并利用漏洞,进而将自身从一个计算机复制到另一个计算机。结果显示,这些模型确实能够完成这一任务,但并非每次尝试都能成功。

O'Reilly 指出,虽然许多计算机病毒早已具备将自身副本复制到新计算机的能力,但这可能是首次有证据表明,AI 模型能够利用漏洞将自身副本复制到新服务器。“恶意软件数十年来一直在传播自身的副本,但据我所知,迄今为止尚未有人在真实环境中(in the wild)实现这一点。”


来源: Brave/theguardian.com

采集时间: 2026-05-07 20:20:01

AI人工智能API