AI搜索引擎为何偏爱'冷门'资源?深度解析搜索革命背后的数据真相

1

在去年Google AI概览灾难性推出之后,大众已经普遍意识到AI驱动的搜索结果与传统搜索引擎生成的链接列表可能存在巨大差异。现在,一项新的研究帮助量化了这种差异,显示AI搜索引擎倾向于引用那些在传统搜索结果中排名靠后的网站,甚至是一些在'自然'Google搜索中不会出现在前100名链接中的网站。

研究发现:AI搜索的'冷门'偏好

在预印本论文《生成式AI时代网络搜索的特征描述》中,德国鲁尔大学和马克斯·普朗克软件系统研究所的研究人员比较了Google搜索引擎的传统链接结果与其AI概览和Gemini-2.5-Flash的表现。研究人员还考察了GPT-4o的网页搜索模式,以及独立的'GPT-4o带搜索工具'——这种工具仅在大型语言模型(LLM)决定需要从其预训练数据之外获取信息时才会转向网络搜索。

研究人员从多个来源收集测试查询,包括提交给ChatGpt的特定问题(WildChat数据集)、AllSide上列出的普遍政治话题,以及100个搜索量最大的亚马逊产品列表中的产品。

AI搜索来源分析

总体而言,生成式搜索工具结果中引用的来源,往往比传统搜索前10名中的网站受欢迎程度更低,这是通过域名追踪器Tranco衡量的。AI引擎引用的来源比传统Google搜索链接的来源更有可能落在Tranco追踪的前1,000名和前1,000,000名域名之外。特别是Gemini搜索表现出引用不受欢迎域名的倾向,在所有结果中,中位数来源落在Tranco前1,000名之外。

AI搜索引擎引用的来源也倾向于那些在相同有机Google搜索中不会出现在任何接近顶级结果的位置。例如,Google AI概览引用的53%的来源没有出现在相同查询的前10名Google链接中,40%的来源甚至没有进入前100名Google链接。

质量评估:AI搜索与传统搜索的优劣

当然,这些差异并不一定意味着AI生成的结果'更差'。研究人员发现,基于GPT的搜索更有可能引用企业实体和百科全书等来源获取信息,而几乎从不引用社交媒体网站。

基于LLM的分析工具发现,AI驱动的搜索结果往往与传统的前10名链接覆盖相似数量的可识别'概念',这表明结果在细节、多样性和新颖性方面具有相似水平。同时,研究人员发现'生成式引擎倾向于压缩信息,有时会省略传统搜索保留的次要或模糊方面。'对于更模糊的搜索术语(如不同人共享的名字),这种情况尤其明显,研究人员发现'有机搜索结果提供了更好的覆盖范围。'

Gemini搜索域名受欢迎程度

AI搜索引擎 arguably 的一个优势在于能够将预训练的'内部知识'与从引用网站收集的数据编织在一起。这对于GPT-4o带搜索工具尤其明显,它通常不引用任何网络来源,而是仅基于其训练提供直接响应。

但这种对预训练数据的依赖在搜索及时信息时可能成为一种限制。对于从Google 9月15日趋势查询列表中提取的搜索术语,研究人员发现GPT-4o带搜索工具经常回复'请提供更多信息'之类的消息,而不是实际搜索网络以获取最新信息。

搜索算法的革新与挑战

AI搜索引擎对'冷门'资源的偏好反映了其与传统搜索算法的根本差异。传统搜索引擎如Google主要依靠PageRank等算法,这些算法基于链接数量和权威性来评估网站的重要性。这种机制自然倾向于已经建立权威性和高流量的网站。

相比之下,AI搜索引擎使用的是不同的评估标准。它们不仅考虑网站的流行度,还会评估内容的相关性、深度和独特性。这种算法转变意味着一些小众但高质量的网站可能获得前所未有的曝光机会。

然而,这种转变也带来了挑战。网站所有者和内容创作者现在需要适应新的规则,不仅要考虑传统的SEO策略,还要思考如何使内容对AI系统更有价值。这可能包括提供更深入的分析、独特的视角或结构化的数据,这些都是AI模型更可能引用的内容类型。

信息获取的未来:多样性与质量的平衡

研究人员没有确定基于AI的搜索引擎总体上比传统搜索引擎链接'更好'或'更差',但他们确实敦促未来研究'新的评估方法,综合考虑生成式搜索系统中的来源多样性、概念覆盖范围和合成行为。'

这一研究方向至关重要,因为随着AI搜索的普及,我们需要确保信息获取既多样化又高质量。理想情况下,AI搜索应该能够平衡发现新资源与传统权威资源的需求,为用户提供更全面、更深入的信息视角。

行业影响与应对策略

AI搜索引擎的'冷门'偏好对数字营销和内容创作行业产生了深远影响。传统的SEO策略可能需要重新评估,以适应这种新的搜索范式。

对于内容创作者而言,这既是挑战也是机遇。一方面,他们需要调整内容策略以适应AI搜索引擎的算法偏好;另一方面,这也为小众领域的专家和高质量内容创作者提供了打破大平台垄断的机会。

对于企业而言,这意味着重新思考其在线存在策略。仅仅依靠传统SEO可能不足以在AI搜索时代保持可见性。企业需要考虑如何使其内容对AI系统更有价值,包括提供独特见解、深度分析或结构化数据。

技术发展:AI搜索的演进方向

随着技术的不断进步,AI搜索引擎也在不断演变。未来的AI搜索可能会更加注重用户意图的理解,而不仅仅是关键词匹配。这意味着系统将能够更好地理解查询背后的真正需求,从而提供更相关、更个性化的结果。

此外,随着多模态AI的发展,未来的搜索体验可能会更加丰富和直观。用户可能不仅能够通过文本查询获取信息,还可以通过图像、语音甚至视频进行搜索,这将进一步改变信息获取的方式。

同时,AI搜索系统可能会更加注重透明度和可解释性。随着用户对AI决策过程越来越关注,搜索引擎可能会提供更多关于其结果如何生成的信息,帮助用户更好地评估信息的可信度和相关性。

结论:拥抱搜索新时代

AI搜索引擎对'冷门'资源的偏好反映了信息获取方式的根本转变。虽然这种转变带来了挑战,但也为信息生态系统注入了新的活力和多样性。

作为用户,我们需要适应这种新的搜索范式,学会批判性地评估AI生成的内容,并利用这些新工具发现传统搜索可能忽略的资源。作为内容创作者和网站所有者,我们需要调整策略,以适应AI搜索引擎的独特需求,同时保持内容的质量和深度。

随着AI技术的不断发展,搜索体验将继续演变。关键在于保持开放的心态,拥抱这些变化,同时坚持信息获取的基本原则:准确性、相关性、多样性和透明度。只有这样,我们才能真正利用AI搜索的潜力,创造一个更加丰富、更加民主的信息生态系统。