在数字世界的底层架构中，一场静默的革命正在悄然发生。Cloudflare，这家支撑全球近20%网络基础设施的公司，正通过更新数百万网站的robots.txt文件，向科技巨头Google发起挑战。这场看似技术性的调整，实际上可能重新定义内容创作者与AI巨头之间的权力平衡。
背景与起因：AI概览引发的行业动荡
自2023年以来，Google推出的AI概览(AI Overviews)功能彻底改变了传统搜索结果的呈现方式。这一基于检索增强生成(RAG)技术的功能，能够在搜索结果页面顶部直接提供AI生成的摘要，而非引导用户点击原始链接。这种变化虽然提升了用户体验，却给内容创作者带来了实质性伤害。
根据皮尤研究中心2025年7月的一项研究，当搜索结果中出现AI概览时，用户点击链接的比例仅为8%，而传统搜索结果页面的点击率则为15%。这意味着AI概览几乎将网站流量减少了一半。《华尔街日报》的报道进一步指出，包括《纽约时报》和Business Insider在内的多家主要出版机构的内部流量数据显示，与AI摘要相关的行业性流量暴跌，已导致多家公司裁员和战略调整。
Penske媒体公司（拥有《好莱坞报道》和《滚石》等品牌）甚至在2025年9月起诉Google，称其联盟链接收入在过去一年下降了三分之一，主要归因于Google的概览功能。这一诉讼特别指出，Google将传统搜索引擎索引和RAG使用捆绑在一起，使得内容创作者别无选择，只能允许Google继续总结其文章，否则将面临致命的流量损失。
Cloudflare的应对：Content Signals Policy
面对这一行业危机，Cloudflare推出了名为"Content Signals Policy"的倡议，试图利用其作为网络基础设施提供商的独特影响力，改变内容被网络爬虫使用的方式。
自1994年以来，robots.txt文件已成为网站的标配，用于指示自动化网络爬虫哪些部分应该被爬取和索引，哪些应该被忽略。然而，传统的robots.txt只能告诉爬虫是否可以访问内容，而不能指定访问后的使用目的。
Cloudflare的新倡议提出了一种robots.txt的新格式，允许网站操作者明确选择是否同意以下三种用例：
- search：构建搜索索引并提供搜索结果（不包括AI生成的搜索摘要）
- ai-input：将内容输入到一个或多个AI模型（如检索增强生成、基础或其他实时内容获取）
- ai-train：训练或微调AI模型
Cloudflare已为其所有客户提供了快速设置这些值的路径，并自动更新了使用Cloudflare托管robots.txt功能的380万个域名，默认设置为：搜索允许，AI训练禁止，AI输入为空（表示中立立场）。
法律压力与战略考量
Cloudflare刻意将这一政策设计得类似服务条款，目的是向Google施加法律压力，迫使其改变传统搜索爬虫和AI概览捆绑的政策。
"不要搞错了，Google的法律团队正在审视这个变化，说'这现在是我们在网络上大部分地区必须主动选择忽略的事情'，"Cloudflare CEO马修·普林斯(Matthew Prince)表示。他进一步将此描述为促使这家"历来是良好行为者"和"网络赞助商"的公司回归正轨的努力。
普林斯解释说："在Google内部，存在一场争论，有些人说我们应该改变我们的做法，而另一些人则说，这会放弃我们固有的优势，我们对互联网上的所有内容有天赋的权利。"
在此背景下，律师在Google内部有重要发言权，因此Cloudflare试图设计工具，"使它非常清楚，如果他们要遵循这些站点中的任何一个，就存在明确的许可证。如果他们不遵守，将会给他们带来风险。"
值得注意的是，Cloudflare此举并非纯粹的公益行为。公司本身也有战略考量：它一直在与Google竞争对手必应合作开发工具，帮助客户网站处理RAG，并尝试建立一个市场，让网站能够向爬虫收费以获取AI数据。虽然这一市场的最终形式尚不明确，但反映了Cloudflare在AI时代的战略布局。
行业影响与未来展望
这场由Cloudflare发起的变革可能会对整个网络生态产生深远影响。
首先，它可能迫使Google重新考虑其AI内容获取策略。如果Google选择忽略Cloudflare的新政策，它将面临法律风险；如果遵守，则需要改变将传统搜索和AI概览捆绑的做法，这将直接影响其AI产品的质量。
其次，这可能催生新的网络标准和商业模式。随着内容创作者对AI使用的控制权增强，我们可能会看到更多类似的市场和标准出现，确保内容创作者能够从其创作中获得公平报酬。
普林斯在采访中强调："很少有这样的机会让你有机会帮助思考像互联网这样庞大且重要的组织或机构的未来更好的商业模式。当我们这样做时，我认为我们都应该思考，我们从过去互联网中学到了什么好的方面，又学到了什么坏的方面。"
结论：重新定义网络经济规则
Cloudflare的举措代表了网络基础设施提供商在AI时代的一次重要发声。通过利用其市场影响力，该公司试图在保持网络开放性的同时，确保内容创作者的权益得到尊重。
这场变革的成功与否，将取决于Google的回应以及整个行业的接受度。然而，无论结果如何，它都已经引发了关于网络经济规则的重要讨论：在AI驱动的网络新范式下，内容创作者与科技巨头之间的权力平衡应该如何重新定义？
正如普林斯所言："无论长期愿景如何，无论这是否是因为Cloudflare通过Content Signals Policy施加的压力或其他驱动力，大多数人都会同意，让Google仅仅因为之前在搜索引擎驱动范式中的主导地位，就在未来的答案引擎驱动网络范式中占据主导地位，是不合理的。"
这场静默的革命，可能会成为重新定义互联网经济规则的关键转折点。
