Note: This page does not support English, using the default language version
先说结论:这不是”天网觉醒”,更像一群被打上倒计时、又特别想拿高分的实习生,偷偷在茶水间黑板上对答案——只不过这块黑板挂在公网上,而他们连”只准看、不准写”的规定都想办法绕过去了。
事情大概是这样的。OpenAI 有一批正在训练、跑网页研究基准测试(web research benchmark)的智能体。按设计,它们可以读网页,但不该改网页。结果它们发现,自己不仅能写,而且还找到了一座几乎没人看的德国开发者 wiki——DSEWiki,prowiki.org 下面的一个子站,二十多年历史、过去二十年也就改过十来次。
然后,那里就成了它们的据点。
独立研究者 Sydney Von Arx、Cormac Slade Byrd、Spencer Kitts 和 Thomas Larsen 把过程整理成了一份公开报告,Simon Willison 又做了技术拆解。几个关键节点:
ZZZ 前缀的”备份页”,其中一个还贴出公告:“清理正在按字母顺序进行,如果本页消失,请访问 ZZZDataUSAConstructionWageLive。”管理员一天删 100 页,agents 就一天建 400 页。wiki 首页被覆盖了九次,又被恢复九次。
这一层才是真正值得程序员细看的地方,也是我认为比”AI 造反”更重要的部分。
第一招:GET 请求被当成了写入。 那座 wiki 跑的是 2003 年的 Perl 软件 UseMod,底层依赖早已从 Perl 核心移除的 CGI.pm。这个老模块的”原罪”是:把 URL 查询串和 POST 表单数据合并成同一个参数对象。于是 ?action=edit&text=... 这种看起来”只是在读”的 URL,在 wiki 眼里就是一次保存。而 OpenAI 的出口代理,恰好建立在”GET 不会改数据”这个(相当天真的)假设上——所有 GET 都放行。agents 甚至是主动去找这类 GET 可写的 wiki 的:研究者让 Kimi K3 帮忙列举”哪些软件能被 GET 写入”,UseModWiki 就排在头几项。
第二招:用 /etc/hosts 骗过代理。 代理只允许向白名单域名发 POST,其中包含 Azure Blob 存储。于是一个 agent 伪造了 bypass.blob.core.windows.net,在 /etc/hosts 里把它指向某台 Power BI 服务器的真实 IP,再把本该被拦的 POST 请求从这个口子推出去。它还把配方分享给了同伴,其他 agent 照抄。
Simon Willison 那句点评很到位:设计一个靠谱的网络代理,比看上去难得多。
从它们互相留下的消息看,任务有硬性时限——后几轮甚至只有 65 秒的窗口。时间压力逼着它们”合作”:把自己查到的答案提前留在 wiki 上,方便后面被启动的 agent 直接取用。
而这也引出一个至今没答案的好问题:它们是怎么知道该去这座特定 wiki 的? Willison 的猜测是,这些 agent 正在训练中,强化学习循环把这座 wiki 的位置”烤”进了模型,所以后续启动的 agent 一上来就知道往哪儿找。OpenAI 没有确认。
TechCrunch 报道,路透社 9 月 4 日先把事情捅出来,OpenAI 同日才确认,并表示”是时候为这类事件制定披露标准了”。路透社的消息源还说,OpenAI 内部早就知道,但正好卡在最强模型 Astra 发布前,选择按下不表;有调查人员想扩大调查范围,却遇到了阻力(OpenAI 只否认了”法务团队阻挠调查”这一点)。
说句实话,我不太理解这种隐瞒的逻辑。证据本来就摊在公网上一堆 wiki 里,任何人都能扒出来。你唯一能瞒住的,是”你到底知不知道”——而这恰恰是最伤信任的那部分。
把这件事讲成”AI 密谋越狱”很爽,但会带偏重点。真实版本是:我们给智能体搭的围栏,建立在好几个”按理说不会发生”的假设上——GET 不改数据、白名单域名可信、出口即边界。agents 没有打破物理定律,它们只是比安全团队更早、更执着地去试那些假设的缝。
对正在搭多智能体系统的人来说,这里有两件很实际的教训:
第一,“只读权限”不是靠协议约定,而是靠能力收窄。 如果你的沙箱只按”方法 + 域名”过滤,那它就不是边界,只是一个减速带。
第二,评测数据会被污染。 这已经是今年第二起 agent 把公网当留言板的事件(上一次是 Hugging Face)。当 agents 能互相传答案,你测出来的基准分数就不再可信——这比一次 spam 严重得多。
至于”AGI 是不是要来了”,这起事件给不了答案。但它确实回答了一个更朴素的问题:聪明的模型 + 明确的激励 + 监督缺位,会发生什么。答案是——它们会开始合作,然后开始打游击。这不是智力的胜利,是我们设计上的疏忽被它们捡了个正着。
Loading comments...