Cloudflare的“按爬取付费”计划：内容创造者的新希望？
在信息爆炸的时代，人工智能（AI）技术以前所未有的速度发展，网络内容的抓取成为AI学习和进步的关键环节。然而，这种看似双赢的局面背后，隐藏着内容创造者长期以来的担忧：他们的原创内容被无限制地抓取，却无法获得应有的回报。Cloudflare，作为全球领先的网络安全和基础设施服务提供商，正在尝试一种全新的解决方案——“按爬取付费”（Pay-Per-Crawl），旨在为内容创造者和AI公司之间建立更公平、可持续的合作模式。
解决内容抓取的难题
长期以来，AI公司通过网络爬虫大量抓取互联网上的文本、图片和其他数据，用于训练其AI模型。这种行为在推动AI技术进步的同时，也引发了版权、收益分配等诸多问题。内容创造者投入大量时间和精力创作的原创内容，被AI公司无偿使用，使得他们的创作动力和收益受到严重影响。Cloudflare的“按爬取付费”计划应运而生，旨在改变这种不平衡的局面。
该计划目前处于私测阶段，少数参与的发布商和内容创造者可以自定义价格，AI爬虫在抓取其内容之前必须支付相应的费用。Cloudflare CEO Matthew Prince表示，此举旨在确保互联网在“AI时代”的生存和发展。他强调，原创内容是互联网最伟大的发明之一，必须确保内容创造者能够持续创作。通过“按爬取付费”，Cloudflare希望将权力交还给内容创造者，同时帮助AI公司进行创新，从而构建一个对所有参与者都有利的新模式。
内容创造者的期盼与选择
参与测试的发布商对Cloudflare的计划表示乐观，他们认为这可能有效阻止大规模的内容抓取行为，从而保护其版权。内容创造者现在可以注册参与测试，期待未来能够从AI经济中获得补偿。目前，只有参与测试的发布商可以选择允许哪些爬虫访问其网站的哪些部分，他们可以完全阻止所有爬虫，也可以允许特定爬虫访问特定内容。此外，他们还可以选择对某些爬虫收费，而允许其他爬虫免费抓取。这种灵活性使得发布商可以与已达成协议的AI公司合作，同时保护其内容免受未达成许可协议的公司的侵犯。
AI公司的参与与收益
要使Cloudflare的计划奏效，AI公司也必须参与其中。尽管一些AI公司可能看不到其中的激励因素，但Cloudflare已经与一些AI公司建立了合作关系。这些AI公司可以通过简单的界面与内容创造者进行谈判，从而获得益处。Cloudflare认为，与内容创造者建立长期合作关系，可以帮助AI产品保持更新和相关性。此外，AI公司还可以避免浪费资金抓取低质量的数据源。Cloudflare的博客指出，如果没有内容创造者的持续贡献，AI系统可能会变得过时、有偏差或不可靠，最终降低用户信任和AI产品的价值。Cloudflare正在与AI公司合作，为它们提供更多信号，从而提高它们可以访问的内容的质量和相关性。一个健康、可持续的原创内容生态系统对于AI的创新和相关性至关重要。
挑战与未来展望
Cloudflare的计划能否成功，很大程度上取决于AI公司是否愿意支付发布商设定的价格。如果竞价战导致价格过低，可能会疏远发布商。此外，该计划还依赖于Cloudflare检测AI爬虫的能力，目前这主要依赖于用户报告和Cloudflare对大规模流量模式的分析。Cloudflare表示，在初期，价格发现将发挥关键作用。随着内容创造者获得关于谁为哪些内容付费的数据，一个透明的市场将出现，反映原创内容的真实价值。展望未来，Cloudflare认为其“按爬取付费”系统将“发生重大演变”。也许有一天，发布商可以使用它来“对不同的路径或内容类型收取不同的费用”，甚至可能在AI抓取环境中引入动态定价。Cloudflare预测，在未来，AI公司可能会被激励创建代理，这些代理会抓取网络，寻找最佳的内容交易，以支持特定的AI产品。
Cloudflare设想，用户可以要求自己喜欢的深度研究程序帮助综合最新的癌症研究或法律摘要，或者只是帮助找到Soho最好的餐厅，然后给该代理一个预算来获取最好和最相关的内容。Cloudflare承诺，它将“实现一个智能代理可以以编程方式协商访问数字资源的未来”。
默认阻止AI爬虫的策略
Cloudflare在宣布“按爬取付费”计划之前，于去年9月推出了一项功能，允许网站所有者一键阻止AI爬虫。据Cloudflare称，超过100万客户选择阻止AI爬虫，这表明人们希望在Cloudflare观察到在robots.txt文件中编写AI爬虫指令被广泛“未充分利用”时，更好地控制自己的内容。为了更好地保护更多客户，任何注册Cloudflare服务的新客户（包括任何免费计划的客户）的域名，默认情况下都将设置为阻止所有已知的AI爬虫。
这标志着Cloudflare从可怕的AI抓取选择退出模式转变为基于许可的模式，Cloudflare发言人表示，预计这将“从根本上改变AI公司访问Web内容的方式”。在一个世界里，一些网站所有者已经厌倦了尝试和失败通过robots.txt阻止AI抓取——包括一些将AI爬虫困在焦油坑中以惩罚它们忽略robots.txt——Cloudflare的功能允许用户选择精细的设置，以防止对AI机器人的阻止影响驱动搜索引擎流量的机器人。这对于希望自己的网站仍然可以被发现但不会被AI机器人消化的内容创作者来说至关重要。
Cloudflare的博客写道：“AI爬虫收集文本、文章和图像等内容来生成答案，而不向原始来源发送访问者——剥夺了内容创造者的收入，以及知道有人正在阅读其内容的满足感。如果创造原创、高质量内容的动机消失了，社会最终会失败，互联网的未来也会面临风险。”
“按爬取付费”的深远影响
Cloudflare的“按爬取付费”计划，不仅仅是一项技术创新，更是一种对互联网内容生态的深刻反思和重塑。它试图在内容创造者、AI公司和用户之间建立一种新的平衡，确保各方都能从中受益。
对内容创造者的影响：
- 经济激励： 通过对AI爬虫收费，内容创造者可以获得直接的经济回报，从而鼓励他们创作更多高质量的原创内容。
- 版权保护： “按爬取付费”模式有助于内容创造者更好地控制自己的内容，防止未经授权的抓取和使用。
- 价值提升： 原创内容的价值得到认可和体现，内容创造者在互联网生态中的地位得到提升。
对AI公司的影响：
- 高质量数据： 通过与内容创造者建立合作关系，AI公司可以获得更高质量、更可靠的数据，从而提升AI模型的性能。
- 合规性： “按爬取付费”模式有助于AI公司遵守版权法规，降低法律风险。
- 可持续发展： 建立可持续的内容获取模式，有助于AI公司的长期发展。
对用户的影响：
- 高质量内容： 内容创造者受到经济激励，将创作更多高质量的原创内容，用户可以从中受益。
- 信息真实性： AI模型使用高质量、可靠的数据进行训练，可以提供更真实、更准确的信息。
- 个性化体验： AI技术可以更好地理解用户需求，提供更个性化的内容和服务。
面临的挑战与应对策略
尽管“按爬取付费”计划具有诸多优势，但也面临着一些挑战：
- 技术挑战： 如何准确识别和追踪AI爬虫，防止其绕过付费机制，是一个技术难题。
- 市场挑战： 如何设定合理的价格，既能吸引AI公司付费，又能保证内容创造者的收益，需要市场各方的共同努力。
- 法律挑战： 如何在不同国家和地区实施“按爬取付费”模式，需要解决版权、数据隐私等法律问题。
为了应对这些挑战，Cloudflare和内容创造者、AI公司需要共同努力：
- 加强技术研发： 不断改进AI爬虫识别和追踪技术，提高付费机制的安全性。
- 建立市场机制： 探索灵活的价格机制，如动态定价、订阅模式等，以适应不同内容和AI公司的需求。
- 推动法律规范： 积极参与相关法律法规的制定，为“按爬取付费”模式提供法律保障。
结语
Cloudflare的“按爬取付费”计划，是互联网内容生态的一次重要创新。它试图打破长期以来内容创造者与AI公司之间的不平衡，建立一种更公平、可持续的合作模式。尽管该计划仍处于初期阶段，面临诸多挑战，但它代表着互联网发展的新方向。通过各方的共同努力，我们有理由相信，“按爬取付费”模式将为互联网内容生态带来积极的变革，推动AI技术的健康发展，最终惠及所有用户。
