Cloudflare推出“按爬取付费”计划：内容创作的新曙光？
在人工智能（AI）浪潮席卷全球的背景下，网络内容的价值日益凸显。然而，AI爬虫无限制地抓取内容，使得内容创作者的权益受到严重威胁。为了应对这一挑战，Cloudflare于2025年7月推出了一项名为“按爬取付费”（Pay-Per-Crawl）的创新计划，旨在为内容创作者提供一种全新的盈利模式，并重塑AI公司获取网络内容的方式。这项计划目前正处于私测阶段，预示着互联网内容生态即将迎来一场深刻的变革。
内容创作者的福音
Cloudflare的“按爬取付费”计划，允许内容创作者向AI爬虫收取一定的费用，从而获取抓取其网站内容的许可。这意味着，AI公司在获取高质量内容的同时，需要向内容创作者支付相应的报酬。这种模式的出现，无疑为内容创作者提供了一种全新的收入来源，激励他们创作更多优质内容，从而促进互联网内容生态的繁荣发展。
Cloudflare首席执行官Matthew Prince表示，这项功能将确保互联网的生存。他还强调，原创内容是互联网最伟大的发明之一，创作者持续创作至关重要。AI爬虫无限制地抓取内容，Cloudflare的目标是将权力还给创作者，同时帮助AI公司创新。这是一个保障互联网自由和充满活力的未来的新模式，对每个人都有利。
一些参与测试的出版商对Cloudflare的“按爬取付费”功能表示乐观，他们认为这可能会阻止无休止的抓取，出版商捍卫版权的行为表明这代表着大规模盗窃。
内容创作者可以通过注册加入测试，或许最终他们也能“因对AI经济的贡献而获得补偿”。
与此同时，只有参与测试的发布商可以选择哪些机器人可以访问他们网站的哪些部分，可以尝试阻止所有机器人或允许某些机器人访问某些内容。
AI公司的挑战与机遇
对于AI公司而言，“按爬取付费”计划既带来了挑战，也带来了机遇。一方面，AI公司需要为获取内容支付额外的费用，这可能会增加其运营成本。另一方面，通过与内容创作者建立合作关系，AI公司可以获取更高质量、更具时效性的数据，从而提升其AI产品的竞争力。
Cloudflare的计划要奏效，AI公司也必须加入。然而，尽管一些AI公司可能看不到这样做的动机，但Cloudflare已经证实，它已经与AI公司合作开展这项计划，这些公司可能会从拥有与内容创建者谈判的简单界面中受益。
Cloudflare表示，其AI合作伙伴受益于与创作者的“长期合作”，创作者更新的内容将帮助AI产品保持相关性。他们还可以停止浪费资金抓取低质量的数据来源。
“如果没有内容创作者的持续贡献，AI系统可能会变得过时、有偏见或不太可靠——最终会降低用户信任和AI产品的价值，”该博客称。“Cloudflare正在与AI公司合作，为他们提供更多信号，并最终提高他们可以访问的内容的质量和相关性。一个健康、可持续的原创内容生态系统对于AI创新和相关性至关重要。”
Cloudflare的赌注似乎取决于AI公司是否同意支付发布商设定的价格，如果竞购战将价格降至疏远发布商的程度，这可能会扰乱实验。这也取决于Cloudflare检测AI机器人的能力，目前，这依赖于用户报告和Cloudflare对大规模流量模式的分析。
“在早期，价格发现将发挥关键作用——随着创作者获得关于谁为哪些内容付费的数据，一个透明的市场将会出现，反映原创内容的真实价值，”Cloudflare表示。
展望未来，Cloudflare 建议，其按爬取付费系统将“发生重大变化”。也许有一天，发布商可以使用它来“为不同的路径或内容类型收取不同的费用”，甚至可能在AI抓取环境中引入动态定价。Cloudflare 预测，在未来，AI公司可能会受到激励，创建代理来抓取网络，寻找最佳内容交易以支持特定的AI产品。
“想象一下，要求你最喜欢的深度研究程序帮助你综合最新的癌症研究或法律摘要，或者只是帮助你找到Soho最好的餐厅——然后给代理一个预算来花费以获得最好和最相关的内容，”Cloudflare 说，并承诺“我们支持智能代理可以通过编程方式协商访问数字资源的未来。”
默认阻止AI爬虫：保护用户权益的第一步
在推出“按爬取付费”计划之前，Cloudflare已经采取了一系列措施来保护用户的权益。早在去年9月，Cloudflare就推出了一项功能，允许网站所有者一键阻止AI爬虫。据Cloudflare透露，超过100万客户选择了阻止AI爬虫，这表明人们希望在Cloudflare观察到在robots.txt文件中编写AI爬虫指令被广泛“未被充分利用”的时候，更多地控制自己的内容。
为了更好地保护客户，Cloudflare还宣布，所有新客户（包括免费计划用户）在注册Cloudflare服务时，其域名将默认设置为阻止所有已知的AI爬虫。
这标志着Cloudflare从可怕的AI抓取选择退出模式转变为基于许可的模式，Cloudflare 发言人告诉 Ars，预计这将“从根本上改变 AI 公司未来访问网络内容的方式”。
在一个世界里，一些网站所有者已经厌倦了尝试并通过robots.txt阻止AI抓取——包括一些将AI抓取工具困在焦油坑中以惩罚它们忽略robots.txt的行为——Cloudflare的功能允许用户选择精细的设置，以防止对AI机器人的阻止影响驱动搜索引擎流量的机器人。这对于希望自己的网站仍然可以被发现但不会被AI机器人消化的内容创建者来说至关重要。
“AI爬虫收集文本、文章和图像等内容来生成答案，而不向原始来源发送访问者——剥夺了内容创作者的收入，以及知道有人正在阅读其内容的满足感，”Cloudflare的博客说。“如果创造原创优质内容的动机消失了，社会最终会失败，互联网的未来也会面临风险。”
“按爬取付费”计划的影响
Cloudflare的“按爬取付费”计划，无疑将对互联网内容生态产生深远的影响。一方面，它将促使AI公司更加重视内容的质量和版权，从而减少盗版行为的发生。另一方面，它将为内容创作者提供更多的收入来源，激励他们创作更多优质内容，从而丰富互联网的内容生态。
然而，这项计划也面临着一些挑战。例如，如何有效地识别AI爬虫？如何确保AI公司愿意支付合理的费用？如何平衡内容创作者和AI公司之间的利益关系？这些问题都需要在实践中不断探索和完善。
总的来说，Cloudflare的“按爬取付费”计划是一项具有前瞻性和创新性的举措。它为解决AI爬虫带来的版权问题提供了一种新的思路，也为内容创作者开辟了一条新的盈利途径。我们有理由相信，在Cloudflare的努力下，互联网内容生态将迎来更加健康、繁荣的未来。
