在数字世界的隐秘角落，一场静默的革命正在上演。Cloudflare，这家支撑着全球近20%互联网基础设施的公司，正在通过一项看似技术性的举措——大规模更新robots.txt文件——向谷歌发起挑战。这一行动不仅关乎技术协议的调整，更触及互联网内容生态的根本权力结构。
背景与导火索
自2023年以来，谷歌推出了允许网站管理员选择将其内容排除用于训练其大型语言模型（如Gemini）的选项。然而，允许页面被谷歌搜索爬虫抓取并显示在搜索结果中，就意味着接受这些内容将通过检索增强生成（RAG）过程，用于生成搜索结果页面顶部的AI概览。
这一做法与其他主要搜索引擎形成鲜明对比，成为众多网站管理员的痛点，从发布新闻的媒体机构到生产研究报告的投资银行，无不感到忧虑。
根据皮尤研究中心2025年7月的一项研究，当搜索结果页面顶部出现AI概览时，用户点击链接的比例仅为8%，而没有这些摘要的搜索引擎结果页面的点击率为15%。《华尔街日报》援引包括《纽约时报》和商业内幕在内的众多主要出版物的内部流量数据报道称，与AI摘要相关的网站流量出现了行业范围的暴跌，导致裁员和战略调整。
Cloudflare的反击
面对这一困境，Cloudflare在9月24日宣布了"内容信号政策
