阿里妈妈URM：世界知识大模型如何重塑电商推荐？

在数字经济的浪潮下，推荐系统已成为连接用户与海量商品的关键桥梁。然而，传统的推荐模型往往受限于通用知识的匮乏，难以准确捕捉用户在电商场景下的复杂需求。为了突破这一瓶颈，阿里妈妈推出了世界知识大模型URM（Universal Recommendation Model），旨在融合通用知识与电商领域的专业知识，为用户带来更精准、更个性化的推荐体验。

URM：电商推荐领域的新引擎

URM的核心在于其独特的知识注入和信息对齐机制。它巧妙地将大型语言模型（LLM）所拥有的通用知识与电商领域的专业知识相结合，从而弥补了传统LLM在电商推荐场景中的不足。URM的出现，无疑为电商推荐领域注入了一股新的活力。

URM

URM的核心功能

URM的功能十分全面，主要包括以下几个方面：

多任务处理：URM能够同时处理多种推荐任务，例如多场景推荐、多目标推荐、长尾推荐以及发现性推荐等。这种多任务处理能力，使得URM能够灵活应对各种复杂的推荐场景。
用户兴趣理解：URM通过深入理解用户的兴趣和需求，从而提供更符合用户当前情境的推荐结果。这种精准的用户兴趣理解能力，是URM实现个性化推荐的关键。
高效率推荐：URM在单次前向传播中即可生成高质量的推荐集合，这极大地满足了工业级推荐系统对于低时延、高QPS（Queries Per Second）的需求。高效的推荐能力，使得URM能够在大规模电商场景下稳定运行。
多模态融合：URM能够结合商品的ID表征和语义表征（例如文本、图像等），从而提升商品的表达能力和推荐的准确性。这种多模态融合能力，使得URM能够更全面地理解商品信息。
零样本学习能力：URM具备快速适应新任务和新场景的能力，即使在没有大量标注数据的情况下，也能够提供有效的推荐。这种零样本学习能力，使得URM能够快速部署到新的电商场景中。

URM的技术原理

URM的技术原理主要包括多模态融合表征、Sequence-In-Set-Out生成方式、任务定义与提示工程、训练方式以及异步推理链路等。

1. 多模态融合表征

多模态融合表征是URM的核心技术之一，它通过融合商品的ID表征和语义表征，从而提升商品的表达能力。具体来说，多模态融合表征包括以下几个步骤：

ID表征：基于分布式哈希表，将商品ID映射为独特的嵌入向量，从而捕捉商品间的协同信息。这种ID表征能够有效地捕捉商品之间的关联性。
语义表征：利用文本编码器和图像编码器，将商品的文本描述和图像信息转换为语义嵌入向量。这种语义表征能够更全面地理解商品信息。
融合机制：通过MLP（多层感知机）层，将ID表征和语义表征对齐融合，生成多模态商品嵌入向量，从而提升商品的表达能力。这种融合机制能够将不同模态的信息有效地结合起来。

2. Sequence-In-Set-Out生成方式

Sequence-In-Set-Out生成方式是URM的另一项关键技术，它能够高效地生成推荐集合。具体来说，Sequence-In-Set-Out生成方式包括以下几个步骤：

输入序列：输入序列由用户行为中的商品ID、任务提示中的文本token以及特殊查询符（例如UM、LM）组成。这种输入序列能够全面地表达用户行为和任务信息。
输出机制：输出机制基于用户建模头（hUM）和语言模型头（hLM），分别生成用户表征和文本输出。这种输出机制能够同时生成用户表征和文本输出，从而实现更精准的推荐。
并行生成：增加UM token数量，使URM在一次前向传播中并行生成多个用户表征，从而提升召回指标。这种并行生成能力能够显著提升推荐效率。

3. 任务定义与提示工程

任务定义与提示工程是URM实现多任务处理的关键。具体来说，任务定义与提示工程包括以下几个方面：

任务定义：基于文本来定义不同的推荐任务，例如多场景推荐、多目标推荐等。这种任务定义方式能够灵活地应对各种复杂的推荐场景。
提示注入：将商品ID作为特殊token注入文本描述，实现用户行为序列的高效表达。这种提示注入方式能够有效地表达用户行为信息。
提示模板：设计不同的提示模板，调整推荐结果的分布，让模型根据不同的任务需求和用户行为动态调整推荐策略。这种提示模板能够灵活地调整推荐策略。

4. 训练方式

URM的训练方式结合了商品推荐任务的噪声对比估计（NCE）损失和文本生成任务的负对数似然损失。此外，URM还采用了基于完整参数的有监督微调（SFT），仅冻结商品的原始表征，保留LLM的预训练知识。这种训练方式能够有效地提升URM的性能。

5. 异步推理链路

为了满足低时延、高QPS的要求，URM设计了面向用户行为动态捕捉的异步推理链路，并将推理结果持久化存储，供在线召回阶段读取。此外，URM还基于多instance在同一容器部署，将URM推理的并发qps提升200%。这种异步推理链路能够显著提升URM的推理效率。

URM的应用场景

URM的应用场景十分广泛，主要包括以下几个方面：

多场景推荐：根据不同页面（例如首页、详情页）提供个性化推荐。URM能够根据不同场景下的用户需求，提供更精准的推荐结果。
多目标推荐：综合分析用户点击、购买等行为，预测兴趣商品。URM能够综合考虑用户的多种行为，从而更准确地预测用户兴趣。
长尾商品推荐：挖掘低频商品的潜在价值，丰富用户选择。URM能够有效地挖掘长尾商品的价值，从而丰富用户的选择。
发现性推荐：推荐用户未曾接触但可能感兴趣的新品类商品。URM能够帮助用户发现新的兴趣点，从而提升用户体验。
搜索增强推荐：结合查询意图和历史行为，提升搜索结果相关性。URM能够将搜索和推荐相结合，从而提升搜索结果的相关性。

结语

URM的推出，无疑为电商推荐领域带来了一场技术革命。它通过融合通用知识与电商领域的专业知识，实现了更精准、更个性化的推荐体验。随着URM的不断发展和完善，相信它将在未来的电商推荐领域发挥更大的作用，为商家和消费者带来更多的价值。