在当今快速发展的推荐系统领域,快手推出了一种名为OneRec的端到端生成式推荐系统,无疑为行业带来了新的思考和突破。与传统的级联推荐系统不同,OneRec采用了一种全新的架构和方法,旨在提供更个性化、更高效的推荐服务。本文将深入探讨OneRec的技术原理、功能特点以及应用场景,以期为读者全面了解这一创新系统提供有益的参考。
OneRec:推荐系统的新范式
OneRec的核心在于其端到端的生成式架构。传统的推荐系统通常采用级联模式,即将推荐过程分解为多个阶段,例如召回、排序和过滤等。这种模式虽然在一定程度上实现了推荐的个性化,但也存在一些局限性。例如,各个阶段之间的信息传递可能存在损失,导致最终的推荐结果与用户的真实兴趣存在偏差。
相比之下,OneRec采用了一种更为简洁和高效的端到端架构。它将推荐问题视为一个序列生成任务,通过编码器-解码器模型直接生成用户可能感兴趣的推荐列表。这种架构不仅减少了信息传递的损失,还能够更好地捕捉用户兴趣的变化,从而提供更准确的推荐结果。
技术原理:多模态融合与偏好对齐
OneRec的技术原理主要包括以下几个方面:
编码器-解码器架构:OneRec采用Encoder-Decoder架构,将推荐问题转化为序列生成任务。编码器负责将用户的全生命周期行为序列压缩成兴趣向量,解码器则通过稀疏混合专家(MoE)架构逐步生成用户可能感兴趣的视频。能更好地捕捉用户兴趣的变化,并生成连贯的推荐列表。
多模态分词器:为了更全面地理解视频内容和用户兴趣,OneRec引入了多模态分词器。该分词器能够融合视频的标题、标签、语音转文字、图像识别等多维信息,并将这些信息转化为分层的语义ID。通过这种方式,OneRec能够更精准地建模用户兴趣,从而提供更个性化的推荐服务。
例如,当用户观看一个关于美食的视频时,多模态分词器不仅会提取视频的标题和标签(如“家常菜”、“美食教程”),还会分析视频中的语音和图像信息,识别出具体的菜品和烹饪方法。这些信息将被整合到用户的兴趣模型中,用于后续的推荐。
强化学习偏好对齐:为了进一步提升推荐的精准度,OneRec还引入了强化学习偏好对齐机制。该机制通过构建一个综合奖励系统,利用偏好奖励、格式奖励和业务奖励来优化生成结果。通过强化学习,OneRec能够更好地感知用户的细粒度偏好,从而提供更符合用户需求的推荐。
具体来说,偏好奖励用于衡量推荐结果与用户兴趣的匹配程度,格式奖励用于评估推荐列表的整体质量,业务奖励则用于指导推荐系统优化业务指标。通过不断学习和优化,OneRec能够逐步提升推荐的精准度和用户满意度。
性能优化:在实际应用中,推荐系统需要处理海量的用户和视频数据,因此性能优化至关重要。OneRec通过架构重构,将关键算子数量大幅压缩,并通过稀疏MoE架构扩展模型容量,显著提升了计算效率。此外,OneRec还采用了训练和推理优化技术,实现了更高的模型浮点运算利用率(MFU),使得算力效率大幅提升。
主要功能:端到端生成与会话式推荐
OneRec的主要功能可以概括为以下几个方面:
端到端生成式架构:OneRec采用编码器-解码器架构,将推荐问题转化为序列生成任务。编码器整合用户的历史行为序列,解码器通过稀疏混合专家(MoE)架构逐步生成用户可能感兴趣的视频。
会话式生成方法:与传统的逐点预测不同,OneRec提出会话式生成方法,能生成整个推荐列表,更好地捕捉上下文信息。会话式生成方法能够更好地捕捉用户在特定场景下的兴趣变化,从而提供更连贯和个性化的推荐体验。
例如,当用户在观看了一系列关于旅行的视频后,OneRec可能会推荐与旅行相关的商品、酒店或景点。这种会话式的推荐方式能够更好地满足用户的潜在需求,提升用户满意度。
多场景应用能力:OneRec不仅适用于短视频推荐,还可以在本地生活服务、直播内容匹配和广告投放等多个场景中应用。这得益于OneRec的通用性和可扩展性,使其能够适应不同场景下的需求,并取得良好的效果。
应用场景:多领域开花结果
OneRec的应用场景非常广泛,以下是几个典型的例子:
短视频推荐:OneRec在快手的短视频推荐主场景中表现突出,承担了约25%的请求(QPS)。通过生成式架构和强化学习偏好对齐,OneRec在用户停留时长、点赞、关注、评论等交互指标上均取得了显著提升。
在短视频推荐中,OneRec能够根据用户的历史观看行为、兴趣标签和实时互动行为,生成个性化的推荐列表。这种推荐方式不仅能够提升用户的观看时长,还能够激发用户的互动意愿,从而提升平台的整体活跃度。
本地生活服务:OneRec在快手的本地生活服务场景中也取得了显著成效。AB对比实验表明,推动了交易总额(GMV)增长21.01%,订单量提升17.89%,购买用户数增长18.58%,新客获取效率提升了23.02%。
在本地生活服务中,OneRec能够根据用户的地理位置、消费习惯和兴趣偏好,推荐附近的餐饮、娱乐、购物等服务。这种推荐方式能够帮助用户发现更多优质的本地服务,同时也能够为商家带来更多的客流量和收益。
直播内容匹配:OneRec被应用于直播内容匹配,通过动态生成推荐序列,能更好地匹配用户的实时兴趣,提升用户在直播场景中的参与度和互动率。
在直播内容匹配中,OneRec能够根据用户的观看历史、互动行为和实时兴趣,推荐相关的直播内容。这种推荐方式能够帮助用户发现更多感兴趣的直播,同时也能够提升直播的观看人数和互动率。
广告投放:在广告投放领域,OneRec的生成式架构能根据用户的兴趣和行为动态生成广告推荐,提高广告的精准度和转化率。
在广告投放中,OneRec能够根据用户的兴趣标签、历史行为和实时互动行为,推荐相关的广告。这种推荐方式能够提高广告的点击率和转化率,从而为广告主带来更多的收益。
实验验证与效果提升
OneRec在快手平台的在线A/B测试中实现了1.6%的观看时间提升,显著优于传统方法。这些数据充分证明了OneRec在实际应用中的有效性和优越性。
总结与展望
OneRec作为快手推出的端到端生成式推荐系统,通过其创新的技术原理和强大的功能特点,为推荐系统领域带来了新的突破。它不仅能够提供更个性化、更精准的推荐服务,还能够应用于多个场景,为用户和平台创造更大的价值。随着人工智能技术的不断发展,我们有理由相信,OneRec将在未来发挥更大的作用,引领推荐系统走向新的高度。
OneRec的成功,为我们提供了一个有益的启示:在推荐系统领域,创新是永恒的主题。只有不断探索新的技术和方法,才能更好地满足用户的需求,提升用户体验,最终实现共赢。