阿里妈妈推出的世界知识大模型URM，无疑是电商推荐领域的一次重大突破。它巧妙地融合了大型语言模型（LLM）的通用知识与电商行业的专业知识，有效解决了传统LLM在电商推荐场景中表现不佳的难题。URM的出现，不仅提升了推荐的精准度，也为商家带来了更好的投放效果，同时也改善了消费者的购物体验。
URM：电商推荐的新引擎
在电商领域，传统的推荐系统往往难以充分理解用户的复杂需求，尤其是在面对海量商品和不断变化的用户行为时。大型语言模型虽然具备强大的语言理解能力，但在电商推荐场景中，由于缺乏专业的领域知识，也常常表现得不够理想。URM的诞生，正是为了弥补这一缺陷。它通过知识注入和信息对齐，将LLM的通用知识与电商领域的专业知识相结合，从而能够更准确地理解用户意图，提供更个性化的推荐服务。
URM不仅仅是一个模型，更像是一个强大的推荐引擎。它能够处理多种推荐任务，例如多场景推荐、多目标推荐、长尾推荐和发现性推荐等。这意味着，无论用户是在浏览首页、详情页，还是在进行搜索，URM都能够根据用户的当前情境，提供最合适的推荐结果。
URM的核心技术
URM之所以能够取得如此出色的表现，得益于其独特的技术原理。其中，多模态融合表征和Sequence-In-Set-Out生成方式是URM的两大核心技术。
1. 多模态融合表征：提升商品表达能力
在电商场景中，商品的信息往往是多样的，包括商品ID、文本描述、图像等等。如何将这些信息有效地整合起来，成为提升推荐准确度的关键。URM采用了多模态融合表征技术，将商品的ID表征和语义表征相结合，从而更全面地表达商品的信息。
具体来说，URM首先使用分布式哈希表将商品ID映射为独特的嵌入向量，这样可以捕捉到商品之间的协同信息。然后，URM使用文本编码器和图像编码器将商品的文本描述和图像信息转换为语义嵌入向量。最后，URM使用MLP层将ID表征和语义表征对齐融合，生成多模态商品嵌入向量。
这种多模态融合表征技术，有效地提升了商品的表达能力，使得URM能够更准确地理解商品的特点和用户的需求。
2. Sequence-In-Set-Out生成方式：高效生成推荐集合
在传统的推荐系统中，生成推荐结果往往需要多次前向传播，这会带来较高的计算成本。为了解决这个问题，URM采用了Sequence-In-Set-Out生成方式，可以在单次前向传播中生成高质量的推荐集合。
具体来说，URM的输入序列由用户行为中的商品ID、任务提示中的文本token以及特殊查询符（如UM、LM）组成。输出机制基于用户建模头（hUM）和语言模型头（hLM）分别生成用户表征和文本输出。通过增加UM token的数量，URM可以在一次前向传播中并行生成多个用户表征，从而提升召回指标。
这种Sequence-In-Set-Out生成方式，极大地提高了推荐的效率，满足了工业级推荐系统对低时延、高QPS的需求。
URM的功能特性
除了上述核心技术之外，URM还具备以下几个重要的功能特性：
- 多任务处理：URM支持同时处理多种推荐任务，例如多场景推荐、多目标推荐、长尾推荐、发现性推荐等。这意味着，URM可以根据不同的业务需求，灵活地调整推荐策略。
- 用户兴趣理解：URM能够全面理解用户的兴趣和需求，提供更符合用户当前情境的推荐结果。这得益于URM强大的知识注入和信息对齐能力。
- 高效率推荐：URM在单次前向传播中生成高质量的推荐集合，满足工业级推荐系统的低时延、高QPS需求。这使得URM能够在大规模的电商场景中高效地运行。
- 多模态融合：URM结合商品的ID表征和语义表征（如文本、图像等），提升商品的表达能力和推荐的准确性。这使得URM能够更好地理解商品的特点和用户的需求。
- 零样本学习能力：URM具备快速适应新任务和新场景的能力，在没有大量标注数据的情况下也能提供有效的推荐。这使得URM能够快速地部署到新的业务场景中。
URM的应用场景
URM的应用场景非常广泛，几乎可以应用于电商推荐的各个方面。以下是几个典型的应用场景：
- 多场景推荐：根据不同页面（如首页、详情页）提供个性化推荐。例如，在首页推荐用户可能感兴趣的热门商品，在详情页推荐与当前商品相关的商品。
- 多目标推荐：综合分析用户点击、购买等行为，预测兴趣商品。例如，根据用户最近的购买记录和浏览记录，预测用户接下来可能购买的商品。
- 长尾商品推荐：挖掘低频商品的潜在价值，丰富用户选择。例如，向用户推荐一些比较冷门的、但是用户可能会感兴趣的商品。
- 发现性推荐：推荐用户未曾接触但可能感兴趣的新品类商品。例如，根据用户的历史行为，发现用户可能对某个新的品类感兴趣，然后向用户推荐该品类的商品。
- 搜索增强推荐：结合查询意图和历史行为，提升搜索结果相关性。例如，当用户搜索“连衣裙”时，URM可以结合用户的历史行为，推荐用户可能喜欢的连衣裙款式。
URM的训练方式
URM的训练方式也比较独特。它结合了商品推荐任务的噪声对比估计（NCE）损失和文本生成任务的负对数似然损失。同时，URM还采用了基于完整参数的有监督微调（SFT），仅冻结商品的原始表征，保留LLM的预训练知识。
这种训练方式，使得URM既能够学习到电商领域的专业知识，又能够保留LLM的通用知识，从而在电商推荐场景中取得更好的表现。
URM的异步推理链路
为了满足低时延、高QPS的要求，URM还设计了面向用户行为动态捕捉的异步推理链路。该链路将推理结果持久化存储，供在线召回阶段读取。同时，URM还基于多instance在同一容器部署，将URM推理的并发qps提升了200%。
URM的未来展望
URM的出现，为电商推荐领域带来了新的希望。它不仅提升了推荐的准确度，也为商家带来了更好的投放效果，同时也改善了消费者的购物体验。随着技术的不断发展，URM在未来还有更大的发展空间。
例如，URM可以进一步探索多模态信息的融合方式，将更多的信息（如用户评论、商品评价等）融入到推荐模型中。URM还可以进一步研究用户行为的动态变化，从而更准确地预测用户的需求。此外，URM还可以与其他技术（如强化学习、图神经网络等）相结合，从而进一步提升推荐的效果。
总而言之，URM是阿里妈妈在电商推荐领域的一次重要创新。它的出现，不仅提升了推荐的准确度，也为整个行业带来了新的发展机遇。相信在不久的将来，URM将会成为电商推荐领域的主流技术，为商家和消费者带来更多的价值。
