在数字世界的基石上，一场静默的革命正在上演。Cloudflare，这家支撑着全球近20%网络流量的基础设施巨头，正通过一个看似简单的技术手段——robots.txt文件，向搜索引擎巨头Google发起挑战。这场行动不仅关乎技术规范，更触及互联网经济模式的根本性重构。
背景与起因：AI摘要引发的流量危机
自2023年以来，Google推出的AI摘要功能彻底改变了传统搜索结果的呈现方式。这些位于搜索结果顶部的AI概述，虽然为用户提供了即时答案，却给内容创作者和出版商带来了前所未有的流量危机。
根据皮尤研究中心2025年7月的一项研究，当搜索结果页顶部出现AI摘要时，用户点击链接的比例仅为8%，而在没有AI摘要的传统搜索结果页，这一比例为15%。这意味着AI摘要功能几乎使出版商获得的流量减少了一半。
华尔街日报的报道进一步证实了这一趋势，引用包括《纽约时报》和Business Insider在内的多家主要出版商的内部流量数据显示，与AI摘要相关的网站流量普遍大幅下滑，导致多家媒体公司裁员并调整战略方向。
"几乎每一个合理的AI公司都在说，如果这是一个公平的竞争环境，我们愿意为内容付费，"Cloudflare CEO马修·普林斯(Matthew Prince)表示，"问题是他们所有人都害怕Google，因为如果Google可以免费获取内容，而他们都必须付费，他们将永远处于 inherent disadvantage（固有劣势）。"
技术博弈：robots.txt的进化与局限
自1994年以来，robots.txt文件已成为网络基础设施的标准组成部分。这个简单的文本文件告诉搜索引擎爬虫哪些页面可以抓取，哪些应该被忽略。然而，传统robots.txt存在一个关键局限：它只能控制爬虫是否可以访问内容，而不能规定内容的使用目的。
Google支持通过"Google-Extended"代理来阻止用于训练Gemini大语言模型的内容抓取，但这无法阻止Google使用相同内容进行检索增强生成(RAG)和AI摘要。这种技术上的灰色地带，使得出版商无法在不损害传统搜索排名的情况下，保护其内容不被用于AI训练和摘要。
Cloudflare的解决方案：内容信号策略
面对这一困境，Cloudflare于2024年9月24日推出了内容信号策略(Content Signals Policy)，这是对传统robots.txt格式的重大革新。新策略允许网站运营者明确指定内容的三种使用场景：
- search：构建搜索索引和提供搜索结果
- ai-input：将内容输入一个或多个AI模型（如RAG、基础或其他实时生成AI搜索答案的内容获取）
- ai-train：训练或微调AI模型
Cloudflare已为其380万个使用托管robots.txt功能的域名自动更新了这些设置，默认允许搜索，禁止AI训练，对AI输入保持中立立场。这一举措直接影响着数百万网站的互联网存在方式。
"不要误会，Google的法律团队正在审视这个变化，说'这现在是我们在网络上大部分地区必须主动选择忽略的东西'，"普林斯解释道，"我们设计这些工具是为了让Google清楚地知道，如果他们要抓取这些网站，存在明确的许可协议。如果不遵守，他们将面临风险。"
法律与商业博弈：一场静默的监管
Cloudflare的举措本质上是一场精心设计的法律博弈。通过将robots.txt的更新设计得类似服务条款协议，Cloudflare旨在向Google施加法律压力，迫使其改变将传统搜索爬虫和AI摘要捆绑在一起的政策。
"在Google内部，存在一场争论，有人说我们应该改变我们的做法，"普林斯表示，"另一些人则说，这会放弃我们的固有优势，我们有权拥有互联网上所有的内容。"
这场博弈的背景是多家出版商已对Google提起诉讼。2024年9月，拥有《好莱坞报道》和《滚石》等品牌的Penske媒体公司就因联盟链接收入在过去一年下降超过三分之一而起诉Google，声称这一下滑很大程度上归因于Google的AI摘要。
Penske的诉讼特别指出，由于Google将传统搜索引擎索引和RAG使用捆绑在一起，公司别无选择，只能允许Google继续对其文章进行摘要，因为完全切断Google搜索推荐将是财务上的致命打击。
行业影响：互联网经济模式的潜在重构
Cloudflare的举措代表了互联网基础设施提供商在AI时代寻求重新平衡权力关系的尝试。随着AI技术成为互联网的核心驱动力，传统的价值创造和分配模式面临根本性挑战。
"很少有像互联网这样规模庞大、如此重要的组织或机构，有机会思考其未来更好的商业模式，"普林斯在谈到这一行动时表示，"当我们这样做时，我认为我们都应该思考我们从过去的互联网中学到了哪些好的方面，又学到了哪些坏的方面。"
值得注意的是，Cloudflare自身也在探索新的商业模式。该公司已与微软旗下的Google竞争对手Bing合作开发RAG工具，并尝试建立一个市场，让网站能够向AI爬虫收取抓取费用。
未来展望：新范式下的互联网
这场围绕robots.txt的博弈可能预示着互联网进入一个新时代。在这个时代，内容的使用权限将与内容本身同等重要，而不再仅仅是访问权限的问题。
成功的新标准可能看起来像这样：Google允许内容在搜索中可用，但不用于AI摘要。无论长期愿景如何，大多数观察家都同意，这将是一个良好的开端，确保Google不会仅仅因为其在搜索引擎时代的既有优势，而在未来的AI驱动网络中继续占据主导地位。
这场静默的革命才刚刚开始，但其影响可能深远。它不仅关乎技术规范的更新，更关乎互联网经济基础的重新定义，以及内容创作者与科技巨头之间权力关系的根本性调整。在AI重塑世界的今天，这场关于robots.txt的博弈，或许将成为互联网下一个十年的决定性事件之一。
