互联网行业的格局正在悄然改变。随着人工智能技术的迅猛发展,内容抓取与版权保护之间的矛盾日益突出。在这一背景下,由Reddit、Yahoo、Quora、Medium等多家知名公司支持的"真正简单许可"(RSL)标准应运而生,为AI内容使用带来了革命性的变化。
RSL标准的诞生背景
长期以来,AI公司在训练模型时大量抓取网络内容,却很少给予原创者应有的补偿。这种行为不仅引发了创作者的强烈不满,也导致了搜索流量的大幅下降。正如Medium CEO托尼·斯塔布宾(Tony Stubblebine)所言:"目前,AI运行在被盗内容上。采用RSL标准是我们强迫这些AI公司要么为使用的内容付费,要么停止使用,要么关闭的方式。"
RSL标准由RSL Collective开发,该组织由Ask.com前CEO道格·利兹(Doug Leeds)和雅虎前产品副总裁、RSS标准共同创建者埃卡特·瓦尔特(Eckart Walther)共同创立。这一标准基于"真正简单聚合"(RSS)协议,旨在通过技术手段解决AI内容使用的版权问题。
RSL标准的核心机制
RSL标准的核心在于对传统的robots.txt文件进行了创新性扩展,增加了自动化许可层。通过这一标准,出版商可以明确规定AI爬虫和代理使用其内容进行训练的许可条款、使用方式和补偿机制。
多样化的许可模式
RSL标准支持多种许可模式,包括:
- 免费模式:内容可自由使用
- 署名模式:使用时需注明来源
- 订阅模式:通过订阅获取内容使用权
- 按次爬取模式:每次AI爬取内容时出版商获得报酬
- 按次推理模式:每次AI使用内容生成回答时出版商获得报酬
这种灵活性使得不同类型的出版商和创作者都能找到适合自己的许可方式。
技术实现方式
出版商只需在robots.txt文件中添加RSL条款,即可实现对内容的基本保护。例如:
License: https://rslcollective.org/royalty.xml
RSL标准的多方受益
对出版商和创作者的价值
RSL标准为出版商和创作者提供了前所未有的保护机制:
- 直接经济回报:通过按次付费模式,创作者能够从其内容被AI使用中获得直接收益
- 内容保护:防止未经授权的内容抓取和使用
- 小创作者赋能:即使是小型创作者也能通过这一标准获得收入
- 非公开内容授权:能够轻松加密和许可未发布的内容,如付费墙文章、书籍、视频、图像和数据
对AI公司的潜在益处
尽管RSL标准最初可能被视为对AI公司的限制,但实际上它也为这些公司提供了重要价值:
- 合法获取内容:解决了AI公司在诉讼中声称的"无法有效授权网络内容"的问题
- 规模化内容获取:提供了一种可扩展的方式获取所需内容
- 精准付费机制:只为模型实际引用的最佳内容付费
- 减少幻觉:通过获得实际高质量内容,减少AI生成内容中的幻觉现象
正如利兹所言:"如果他们使用它,他们就需要为它付费;如果不使用,就不需要付费。"
行业反应与前景展望
早期采用者的积极评价
RSL标准发布后,获得了业界的广泛关注和积极评价:
- Neil Vogel(People Inc. CEO):"RSL推动行业发展——从简单地阻止未经授权的爬虫,到为所有AI用例设定我们的许可条款,实现全球网络规模的覆盖。"
- Simon Wistow(Fastly联合创始人):"这一解决方案是对网络经济变化的及时且必要的回应。通过让出版商轻松定义和执行许可条款,RSL为健康的内容生态系统奠定了基础。"
AI公司的谨慎态度
然而,主要的AI公司对RSL标准的态度尚不明朗。Ars Technica联系了Google、Meta、OpenAI和xAI等公司,询问他们对每输出一次内容就向出版商付费的技术可行性,但这些公司要么拒绝置评,要么表示需要更多关于该标准的信息。
值得注意的是,RSL Collective在开发这一标准时并未与AI公司进行咨询。利兹承认,今天可能是AI公司首次接触按次付费出版商这一概念。
RSL标准的实施与执行
技术执行
RSL标准的执行得到了技术公司的支持。云服务提供商Fastly已与RSL Collective合作提供技术执行,利兹描述这项技术"充当保镖,阻止未经批准的机器人访问有价值的内容"。此外,七月份推出了按次爬取计划的Cloudflare也可能帮助执行RSL标准。
法律保障
除了技术执行外,出版商和内容创作者还可以通过法律手段执行RSL条款。最近的15亿美元Anthropic和解案表明,如果不合法地训练AI,"确实有真金白银的风险"。
RSL标准的深远影响
对内容生态系统的重塑
RSL标准有望彻底改变AI与内容创作之间的关系:
- 建立公平市场:可能"为所有出版商建立公平的市场价格和加强谈判杠杆"
- 促进创新:通过确保创作者获得公平补偿,鼓励持续的内容创新
- 维护人类创造力:防止AI发展到"人类停止生产,转向AI复制人类无法完成的事情"的阶段
对AI发展的潜在影响
RSL标准可能对AI技术的发展产生深远影响:
- 提高AI质量:通过获得实际高质量内容,减少AI生成内容中的幻觉现象
- 降低计算成本:避免AI公司"花费大量计算成本来拼凑不同来源的答案"
- 确保信息新鲜度:防止AI用"基于旧训练信息的不良内容"取代搜索
正如利兹所言:"RSL标准最终是关于创建允许开放网络继续发展的系统。当我们获得所有人的采用时,这就会发生。"
结论:迈向更公平的数字内容未来
RSL标准的推出标志着AI内容使用进入了一个新时代。通过这一标准,出版商和创作者能够更好地保护自己的权益,获得应有的报酬;同时,AI公司也能以合法、可持续的方式获取所需内容。
这一标准的成功实施将需要行业各方的共同努力和参与。正如利兹所强调的:"从字面上说,小人物和大人物一样重要",在推动整个行业变革和公平补偿创作者方面。
随着RSL标准的逐步推广,我们有理由期待一个更加公平、可持续的数字内容生态系统的形成,在这个系统中,人类创造力与人工智能技术能够和谐共存,共同推动社会进步。