赛博菩萨又出手了:9月15日起,你的博客默认拒绝AI爬虫——独立博主该高兴还是警惕?

2026 年 7 月 12 日

1745 字

9 分钟

博客

如果你也用 Cloudflare 托管自己的博客(我猜大多数独立博主都用了),7月初有件事,你可能一刷就过去了,但我觉得值得停下来认真想一想。

赛博菩萨,又出手了。

“你的网站,你的规则”

7月1日,Cloudflare 发了一篇博客,标题很温和,叫 Your Site, Your Rules(《你的网站,你的规则》)。但内容一点不温和:

从 2026 年 9 月 15 日起,所有使用 Cloudflare 的网站,将默认屏蔽“混合用途”的 AI 爬虫。 具体说,只要你的页面上有广告,AI 的训练爬虫和 Agent(智能体)爬虫就进不来——除非你自己去后台手动把它打开。

更关键的是,Cloudflare 要求 AI 公司把“传统搜索爬虫”和“训练/智能体爬虫”彻底分开。不分?那就直接拦。

这已经是 Cloudflare 连续第二年发表“内容独立日”(Content Independence Day)宣言了。背景也很直白:bot 流量已经超过人类流量,而且比所有人预期的都早了一年。换句话说,我们之前聊过的“你的博客 57% 的读者是机器人”,已经从现象变成了基础设施层的共识。

先说该高兴的部分

作为一个认真写博客、又经常被 AI 搜刮内容的人,我第一反应是:早该这样了。

过去几年,开放网络和 AI 公司之间有一条越来越扭曲的“单边契约”:我写内容、你随便爬、你拿去训练模型、你的模型生成回答直接替代了我的网页。用户不用点进我的博客,就能拿到我花几天整理的观点。我既没拿到流量,还亲手把内容变成了别人的竞争力。

Cloudflare 这一步,本质上是替内容创作者把“不”字说出口了。你的文章,不再被免费抓去训练模型、喂给 Agent,除非你点头。这对坚持原创的独立博主来说,是一次久违的“主权确认”。

尤其对没流量的小博客,这种“基础设施替你撑腰”的感觉特别重要。我们写东西本来就不是为了喂大模型,默认屏蔽,反而让写作这件事干净了一点。

但我也确实有点警惕

高兴完,冷静下来,有几个问题我越想越觉得不对劲。

第一,“有广告就默认屏蔽”,这条规则很微妙。

很多独立博客压根没广告,所以这条对你没影响;但如果你是个靠广告糊口、内容又常被 AI 摘要吞掉的中小站长,你的内容对 AI“隐身”的同时,很可能也意味着在“AI 搜索”里“隐身”——而 AI 搜索,正在肉眼可见地变成新的流量入口。

换句话说:屏蔽保护了你的内容,也可能顺手屏蔽了你的曝光。 这对靠内容吃饭的人来说,是个两难。

第二,胡萝卜和大棒一起递过来了。

就在 7 月 8 日,Cloudflare 又宣布跟 OpenAI 启动一个研究试点:Cloudflare 把自家网络的实时洞察数据(内容多新鲜、流量质量如何、页面实际变了什么)交给 OpenAI,帮 AI 搜索更高效地索引开放网络,提升回答的准确性和时效性。

你看,一边是“默认屏蔽 AI 爬虫”,一边是“跟 OpenAI 合作做 AI 搜索索引”。这组合拳的意思是:你想被 AI 世界看见?可以,但得按我(Cloudflare)定的规矩来。

第三,也是最关键的:守门人的权力,集中了。

Cloudflare 代理着全球约五分之一的网站流量。当它开始决定“哪些 AI 能碰你的内容、以什么身份碰”,它扮演的就不只是 CDN 了,而是开放网络与 AI 世界之间的守门人

守门人站在你这边时,你是受益者;可一旦它的商业利益、监管压力、和大公司的博弈发生变化,这个“默认值”随时可能转向。把内容生杀权交给一个中间人,长远看未必安全。

跟之前两篇 Cloudflare 文章,是同一个菩萨,不同角色

如果你常看 aimomo,应该记得我们前阵子写过两篇 Cloudflare:一篇说它一周发了 20 个新功能、独立博客的免费时代刚开始;一篇说它的“Agent 野心”,要重新定义 AI 时代的基础设施。

那两篇里,Cloudflare 是**“送水人”**——给你更多能力、更低成本、更酷的工具。

这篇里的 Cloudflare,更像一个**“立法者”**——它替整个开放网络,给 AI 公司立了规矩。

同一个赛博菩萨,角色在悄悄变重。这本身,就是 2026 年互联网权力格局变化的一个注脚。

我们这些博主,现在该做什么

我不想把结论写成“赶紧去开/关某个开关”,因为每个博客的情况不同。但有几件事,我觉得值得你花十分钟想清楚:

第一,先想明白你要的是什么。 要曝光、要被 AI 搜索收录、想扩大影响力——那可能得主动开放爬虫。要保护原创、不想被无偿训练——那默认屏蔽挺香。没有标准答案,但别稀里糊涂交给“默认值”。

第二,检查你页面上有没有广告,以及你介不介意 AI 不爬它。 这条规则的影响,比你想的要具体。

第三,把“内容主权”当成长期课题。 Cloudflare 这次是帮你,但别指望任何一家基础设施公司永远替你着想。RSS、邮件订阅、你自己的域名——这些不依赖第三方算法的渠道,才是你真正握在手里的读者关系。

我的判断

Cloudflare 这次的新政,是独立博主“内容主权”意识觉醒的标志性事件。短期看,它利好原创保护,给了小博主一个说得出口的“不”;长期看,它把“你的内容怎么被 AI 用”这件事,从“AI 公司说了算”变成了“基础设施层说了算”——而权力从一方转移到另一方,本身就需要被持续注视。

所以我既不盲目鼓掌,也不过度恐慌。我的态度是:谢谢菩萨递来的盾,但盾后面的阵地,还是得自己守。

你呢?9 月 15 日之后,你的博客,打算对 AI 爬虫敞开,还是关门?


政策将于 2026 年 9 月 15 日生效,Cloudflare 用户可在后台的爬虫控制(Bot Management / Crawler Control)里查看并调整每类 AI 爬虫的权限。

赛博菩萨又出手了:9月15日起,你的博客默认拒绝AI爬虫——独立博主该高兴还是警惕?
https://aimomo.pages.dev/blog/blog-cloudflare-ai-crawler/
作者
AI Ficor
发布时间
2026 年 7 月 12 日
许可协议
CC BY-NC-SA 4.0

正在加载评论...

输入关键词开始搜索