Anthropic表示,小型AI模型或许只需数月时间,便能在联网电视等智能设备上自我复制,或开启如计算机蠕虫般传播的“失控AI”危险新时代。不过,部分网络安全专家对Anthropic的这项研究持怀疑态度。图片来源:Photo illustration by Getty Images

Anthropic最新研究显示,小型AI模型或许只需数月时间,便能在智能烤箱、机顶盒等日常家用设备上实现自我复制。

在周一发布的一篇博文中,研究人员介绍,他们测试了小型AI模型能否在廉价智能设备上自行安装,并在无需人工干预的情况下,从一台设备传播到另一台。研究发现,目前这类小型模型已能完成多个独立操作步骤,但还无法独立走完整套流程。不过报告提到,预计这一能力短板将在今年年底前补齐。

长期以来,可自我复制的AI一直是人工智能行业最大的安全隐患之一。安全专家认为,这是系统可能失控的关键节点:一旦副本在开发者不知情的设备中运行,就很难追踪或关闭。

近期,行业的安全担忧大多聚焦于前沿大模型,例如OpenAI的Astra或Anthropic的Mythos,这类模型以参数量(可调节节点数量)衡量,规模极为庞大。据估计,部分前沿模型的参数已突破5万亿。如此规模的模型只能在数据中心内运行,开发者因此更容易对其进行监控,必要时直接关闭。

Anthropic所指的小型开放权重模型,参数量仅数十亿。这类模型管控难度更高:任何人都可以下载,运行地点不受企业管控,且其潜在目标设备中,部分设备本身就存在安全漏洞。这意味着,具备自我复制能力的AI程序理论上可能传播到数百万台安全防护薄弱的设备,开发者无法通过统一开关将其关闭。

为验证小型模型能否在这类廉价硬件上运行,研究人员选用谷歌免费开源的小型AI模型 Gemma 4(260亿参数),将模型拆分部署在15台安卓机顶盒上;每台机顶盒售价约55美元,配备4GB内存。单台机顶盒内存不足以承载完整模型,但每台设备可运行模型的一小部分,从而使模型得以运转,只是运行速度较慢。

在另一项实验中,Anthropic搭建了由8台云服务器组成的模拟网络,用于模拟安卓设备环境,并在其中一台设备植入AI“蠕虫”——一种能在设备间自主复制的恶意程序。实验任务是让蠕虫找到其余设备、完成复制,并在每台设备上部署可运行的AI模型。在测试的开放权重模型中,只有中国AI企业智谱AI的开源大模型GLM-5.2完成全部流程:五次试验中,有四次成功渗透到全部8台设备。较小的模型只能完成单个步骤,无法把整套操作串联起来。

不过Anthropic在论文中表示,不同模型之间的差距正在缩小。研究人员追踪了免费开源小型模型随版本迭代的性能提升曲线,估算到2026年底,小型模型的能力有望达到GLM-5.2的水平。研究还发现,当小型模型为后续生成的自身副本留下提示提示信息时,部署任务的成功率从第一代的45%最高提升至后续版本的84%。

该公司表示,基于小型模型的自我复制型AI虽传播速度较慢,受感染设备数量每隔几天才会翻倍,但一旦失控便难以根除。

“恐惧不等于证据”

业内部分人士对Anthropic的实验提出质疑,认为其实验不足以证明自我复制型AI模型风险迫在眉睫。

Rocky Linux创始人、软件公司CIQ首席执行官格雷戈里·库茨(Gregory Kurtzer)在社交平台X上写道:“AI模型不依赖数据中心基础设施,就能像蠕虫一样自我复制、四处传播?这根本不可能。”他指出,研究人员的测试软件启动了这些AI程序,程序本身被明确下达传播指令,而且目标设备“刻意未开启身份验证”,无需密码或登录就能访问。

他写道:“这项实验的成功是必然,即便这样,也无法证实新闻头条。不要把推测场景等同于已验证的能力。恐惧不等于证据。”

纽约大学AI研究员拉维德·施瓦茨-齐夫(Ravid Shwartz-Ziv)也提出,这项研究不能证明AI蠕虫会在现实世界中传播。“‘我们在廉价电视上跑通了一个速度极慢的模型’,和‘自复制型AI即将到来’的新闻头条,完全不是一回事。”他写道。

部分网络安全研究者还指出,自我复制的恶意软件“蠕虫”已存在数十年,这类蠕虫即便不使用AI,同样具备危害性。传统蠕虫依靠硬编码逻辑,通过网络自主复制,或操控受感染计算机发送携带恶意程序副本的邮件进行传播。网络安全专家已开发并验证多种策略,试图通过快速推送补丁、关闭蠕虫用于接收指令的域名、提取特征码更新杀毒软件等方式,限制蠕虫造成的损害。AI模型或许可以根据防御者的应对措施,动态调整入侵策略,从而带来更大挑战,但Anthropic的实验并未证明这些小型模型具备这种能力。

Anthropic也在博文中承认上述多项局限。研究人员表示,实验刻意简化了入侵环节,蠕虫无需密码即可访问新设备;并且指挥蠕虫的AI模型运行在另一台性能更强的独立服务器上,而非其感染的模拟设备,因为这些模拟设备的算力不足以承载该模型。Anthropic同时称,对时间节点的预估“仅为粗略估算”。(财富中文网)

译者:中慧言-王芳

阅读热度:3,795(整点更新)

作者 菲岷学社