Cloudflare推出付费爬虫机制：内容创造者的新曙光？
在人工智能（AI）技术飞速发展的今天，网络内容的抓取和利用已经成为一个备受关注的话题。Cloudflare，作为一家领先的网络安全和基础设施服务提供商，正试图通过一种全新的方式来解决这个问题。他们正在测试一项名为“付费爬虫”（pay-per-crawl）的功能，旨在允许内容创造者向AI爬虫收取费用，从而实现对自身内容的有效保护和潜在收益。
这项功能目前处于私测阶段，仅有少数出版商和内容创造者参与。Cloudflare表示，每个参与者都可以自定义价格，AI爬虫必须支付相应的费用才能抓取其内容。Cloudflare的CEO，Matthew Prince，认为此举对于互联网的未来至关重要，能够确保原创内容在“AI时代”继续蓬勃发展。
内容创造者的呼声
许多内容创造者长期以来一直抱怨AI爬虫的大规模抓取行为，认为这是一种侵犯版权的“盗窃”。他们希望通过Cloudflare的付费爬虫功能，能够有效地阻止这种无限制的抓取，并为自己的创作获得应有的补偿。Cloudflare也表示，有兴趣参与测试的内容创造者可以注册，未来或许能够从AI经济中获得回报。
目前，参与测试的出版商可以灵活地选择允许哪些爬虫访问其网站的哪些部分。他们可以完全阻止所有爬虫，也可以允许特定的爬虫访问特定的内容。此外，他们还可以选择对某些爬虫收费，而允许其他爬虫免费抓取。这种灵活性使得出版商可以与已经达成协议的AI公司合作，同时保护自己的内容免受未授权抓取的侵害。
AI公司的参与至关重要
要使Cloudflare的计划真正奏效，AI公司的参与是不可或缺的。尽管有些AI公司可能对此持抵触态度，但Cloudflare已经与一些AI公司建立了合作关系。这些AI公司可能会发现，通过一个简单的界面与内容创造者进行谈判，能够带来诸多好处。
Cloudflare认为，与内容创造者建立长期的合作关系，能够帮助AI公司获取最新的内容，从而保持其AI产品的 актуальность。此外，AI公司还可以避免浪费资金抓取质量低劣的数据源。Cloudflare的博客指出，缺乏内容创造者的持续贡献，AI系统可能会变得过时、有偏见或不可靠，最终损害用户信任和AI产品的价值。
Cloudflare正在努力与AI公司合作，为它们提供更多的信号，从而提高它们所能访问内容的质量和相关性。一个健康、可持续的原创内容生态系统对于AI的创新和相关性至关重要。
潜在的风险与挑战
然而，Cloudflare的这一举措也面临着一些潜在的风险和挑战。首先，AI公司是否愿意支付出版商设定的价格？如果竞价战导致价格过低，可能会导致出版商不满。其次，Cloudflare如何有效地检测AI爬虫？目前，Cloudflare主要依靠用户报告和对大规模流量模式的分析。这些方法可能并不完全可靠，一些AI爬虫可能会设法逃避检测。
Cloudflare也承认，在早期阶段，价格发现将发挥关键作用。随着内容创造者获得关于谁为哪些内容付费的数据，一个透明的市场将会出现，反映原创内容的真实价值。
未来的发展方向
展望未来，Cloudflare表示，其付费爬虫系统将会“显著发展”。未来，出版商或许可以使用该系统对不同的路径或内容类型收取不同的费用，甚至可以引入动态定价。在这种情况下，AI公司可能会有动力创建代理，这些代理会在网络上爬行，寻找最佳的内容交易，以支持特定的AI产品。
Cloudflare设想，用户可以要求自己喜欢的研究程序帮助他们综合最新的癌症研究或法律摘要，或者帮助他们找到Soho最好的餐厅，然后给该代理一个预算，用于获取最佳和最相关的内容。Cloudflare承诺，他们正在构建一个未来，在这个未来中，智能代理可以以编程方式协商对数字资源的访问。
默认阻止AI爬虫
在推出付费爬虫功能之前，Cloudflare已经在去年9月推出了一项功能，允许网站所有者一键阻止AI爬虫。据Cloudflare称，超过100万客户选择阻止AI爬虫，这表明人们希望在Cloudflare观察到robots.txt文件中编写AI爬虫指令被广泛“未充分利用”的情况下，更好地控制自己的内容。
为了更好地保护更多客户，任何注册Cloudflare服务的新客户（包括免费计划的客户）的域名都将默认设置为阻止所有已知的AI爬虫。
这标志着Cloudflare从令人恐惧的AI抓取选择退出模式转变为基于许可的模式。Cloudflare的一位发言人表示，这预计将“从根本上改变AI公司未来访问网络内容的方式”。
在一些网站所有者已经厌倦了尝试和未能通过robots.txt阻止AI抓取的世界中——包括一些将AI爬虫困在焦油坑中以惩罚它们忽略robots.txt——Cloudflare的功能允许用户选择精细的设置，以防止对AI机器人的阻止影响驱动搜索引擎流量的机器人。这对于希望他们的网站仍然可以被发现但不会被AI机器人消化的较小内容创建者至关重要。
Cloudflare的博客说：“AI爬虫收集文本、文章和图像等内容来生成答案，而不将访问者发送到原始来源，从而剥夺了内容创建者的收入以及知道有人正在阅读其内容的满足感。”“如果创建原创优质内容的动机消失了，社会最终会失败，互联网的未来将面临风险。”
结论
Cloudflare的付费爬虫计划代表了一种全新的尝试，旨在平衡AI公司和内容创造者之间的利益。通过允许内容创造者对AI爬虫收费，Cloudflare希望能够鼓励原创内容的生产，并为内容创造者提供一种新的收入来源。然而，这一计划的成功与否，取决于AI公司的参与程度以及Cloudflare能否有效地检测AI爬虫。只有在各方共同努力下，才能构建一个健康、可持续的互联网生态系统，从而确保AI技术能够为人类社会带来福祉。
随着AI技术的不断发展，我们有理由相信，未来的互联网将会更加智能化、个性化。而Cloudflare的付费爬虫计划，无疑为我们提供了一个值得期待的未来。
