在人工智能技术飞速发展的今天,一个困扰行业已久的问题终于迎来了解决方案——"简单许可协议"(Really Simple Licensing, RSL)标准的正式发布。这一创新标准通过增强传统robots.txt指令,为AI爬虫与内容创作者之间建立了明确的付费机制,标志着互联网内容授权模式进入了一个新时代。
从RSS到RSL:协议的演进与创新
RSL标准由前Ask.comCEO道格·利兹(Doug Leeds)和雅虎前产品副总裁、RSS协议联合创作者埃卡特·瓦尔特(Eckart Walther)共同创立的RSL Collective推出。这一标准巧妙地借鉴了"简单内容分发"(RSS)协议的成功经验,将其演进为"简单许可协议",为数字内容授权提供了全新的技术框架。
"埃卡特曾目睹RSS标准迅速被数百万网站采用,他意识到RSS实际上一直是一种许可标准,"利兹解释道,"通过采用RSS标准,出版商同意让搜索引擎许可使用其'部分'内容以换取搜索流量,而埃卡特意识到,以同样方式添加AI许可条款同样简单直接。"
这种创新思维使得出版商能够通过授权其全部或部分内容用于AI训练,每次AI输出引用其内容时获得报酬,从而努力夺回因AI而流失的搜索收入。
RSL标准的核心机制与商业模式
RSL标准基于开源、去中心化的协议设计,为AI爬虫和代理明确了内容许可、使用和补偿的条款。该标准支持多种许可、使用和版税模式,包括免费、署名、订阅、按爬取付费(每次AI应用程序爬取内容时出版商获得报酬)和按推理付费(每次AI应用程序使用内容生成响应时出版商获得报酬)。
与传统的robots.txt指令不同,RSL标准通过在robots.txt文件中添加机器可读的许可条款,实现了自动化许可管理。例如:
License: https://rslcollective.org/royalty.xml
这种设计使得出版商能够灵活定义其内容的许可条件,而AI公司则能够以可扩展的方式获取所需内容,同时只需为其实际引用的优质内容付费。
行业巨头支持:RSL标准的广泛采纳
RSL标准一经发布,立即获得了互联网行业的广泛支持。Reddit、Yahoo、Quora、Medium、The Daily Beast、Fastly等知名公司纷纷表态支持这一创新标准。
People Inc.首席执行官尼尔·沃格尔(Neil Vogel)评价道:"RSL推动了行业发展——从简单阻止未授权爬虫,到为所有AI用例设定我们的许可条款,实现全球网络规模的覆盖。"
Fastly联合创始人西蒙·威斯托(Simon Wistow)则表示:"这一解决方案是对网络经济变化的及时且必要的回应。通过使出版商能够轻松定义和执行许可条款,RSL为健康的内容生态系统奠定了基础——在这个生态系统中,对原创作品的创新和投资得到回报,出版商与AI公司之间的合作变得无缝且互利。"
Medium首席执行官托尼·斯塔布宾(Tony Stubblebine)更是直言不讳:"目前,AI运行在窃取的内容上。采用这一RSL标准是我们强制这些AI公司为其使用的内容付费、停止使用或关闭的方式。"
技术实现与执行机制
RSL标准的技术执行主要通过合作伙伴Fastly提供的云服务实现,利兹描述这项技术如同"保镖",阻止未经批准的机器人接近有价值的内容。这一机制与Cloudflare在7月推出的按爬取付费计划相呼应,后者已经通过阻止贪婪的爬虫证明了这种模式的有效性。
对于出版商而言,RSL标准"立即解决了商业问题",RSL Collective对此表示乐观,预计该标准将被迅速广泛采用。作为额外激励,出版商还可以依靠RSL标准"轻松加密和许可未发布、专有内容给AI公司,包括付费墙文章、书籍、视频、图像和数据",这可能会扩展AI公司的数据池。
AI公司的反应与行业影响
尽管RSL标准获得了出版商的广泛支持,但AI公司的反应尚不明朗。Ars Technica联系了谷歌、Meta、OpenAI和xAI等其爬虫受到审查的大型科技公司,询问是否有可能为每次引用其内容的输出向出版商付费。xAI没有回应,而其他公司在没有进一步了解标准细节的情况下拒绝置评,似乎尚未考虑增强robots.txt的许可层对其抓取活动的影响。
然而,利兹指出,AI公司明白他们需要持续不断的新鲜内容来保持其工具的相关性并持续创新。从这个角度看,RSL标准"支持支持他们的东西",并创造了适当的激励系统,为创作者创造可持续的版税流,确保人类创造力随着AI的发展而不会减弱。
法律保障与行业规范
除了技术执行外,利兹表示出版商和内容创作者还可以依法执行RSL条款。最近Anthropic的15亿美元和解协议表明,如果不"合法"地训练AI,"确实有真金白银的风险"。
如果行业采用该标准,它可以为所有出版商"建立公平的市场价格并加强谈判杠杆"。利兹还指出,法规通常跟随行业解决方案(考虑《数字千年版权法》)。由于RSL Collective已经与立法者进行会谈,利兹认为"有充分理由相信"AI公司将很快"被迫承认"这一标准。
RSL对AI创新的潜在影响
利兹认为,不采用RSL标准将对AI创新不利,可能导致AI用"某种自我实现的坏内容交换"取代搜索,这些内容实际上没有任何当前信息或思维,因为它们都基于旧的训练信息。
目前,AI输出不提供"对提示的最佳答案",而是依赖混合来自不同来源的答案,以避免从一个站点获取过多内容。这意味着AI公司不仅要"花费大量计算成本"这样做,而且在"混合"源材料"制作不是最佳答案"的过程中,AI工具也可能更容易产生幻觉。
"最佳答案可能存在于某处,"利兹说,"但他们花费数十亿美元创造幻觉,而我们谈论的是:让我们通过许可方案解决这个问题,该方案允许您以解决用户查询最佳的方式使用实际内容。"
构建可持续的内容生态系统
通过RSL标准,AI公司可以"以公平的方式大规模许可内容,保留其产品持续创新所需的内容"。此外,RSL标准可能解决一个在AI早期阶段可能破坏信任和兴趣的问题。
利兹强调,RSL标准最终是"关于创建允许开放网络继续存在的系统。当我们获得每个人的采用时,这就会发生",他坚持认为"小家伙与大家伙同样重要",在推动整个行业变革和公平补偿创作者方面。
结语:RSL标准的未来展望
RSL标准的推出标志着AI与内容创作关系的重要转折点。通过为内容创作者提供公平的补偿机制,同时为AI公司提供合法获取高质量内容的途径,这一标准有望构建一个更加可持续和公平的数字内容生态系统。
随着越来越多的出版商采用这一标准,AI公司将面临选择:要么接受新的许可模式,要么失去宝贵的内容资源。无论AI公司最终如何决策,RSL标准已经为行业设定了一个明确的方向——尊重知识产权、公平补偿创作者,这不仅是法律和道德的要求,也是AI行业长期健康发展的基础。
在人工智能技术不断演进的时代,RSL标准或许将成为连接人类创造力与机器智能的重要桥梁,为数字经济的可持续发展提供新的可能性。