UniRig：清华开源的通用自动骨骼绑定框架，如何革新3D动画制作？

在3D动画和游戏开发领域，骨骼绑定是一项至关重要的技术，它赋予了虚拟角色和物体以生命，使其能够自然而流畅地运动。然而，传统的骨骼绑定过程繁琐且耗时，需要动画师手动创建骨骼结构并调整蒙皮权重，这无疑限制了创作效率和艺术表达。为了解决这一难题，清华大学计算机系与VAST联合推出了UniRig，这是一个创新的通用自动骨骼绑定框架，旨在简化和加速3D模型的骨骼绑定流程。

UniRig的核心优势在于其能够处理复杂和多样化的3D模型。不同于以往的骨骼绑定方法，UniRig不局限于特定类型的模型，而是能够为从动漫角色到复杂有机和无机结构的各种对象自动生成高质量的骨骼结构和蒙皮权重。这种广泛的适用性使得UniRig能够极大地提高动画制作的效率，并为艺术家提供更大的创作自由。

UniRig的主要功能

UniRig的功能非常全面，主要包括以下几个方面：

1. 自动骨骼生成：UniRig可以为各种3D模型自动生成拓扑结构正确的骨骼树。这意味着，无论模型是人类、动物还是虚构角色，UniRig都能够根据其几何特征和结构特点，智能地创建出合适的骨骼结构。这大大减少了动画师手动创建骨骼的时间和精力。

2. 蒙皮权重预测：蒙皮权重决定了每个骨骼对网格顶点的影响程度。UniRig能够预测每个骨骼对网格顶点的最佳影响权重，从而确保网格在骨骼动画驱动下能够自然而流畅地变形。高质量的蒙皮权重是实现逼真动画效果的关键，UniRig在这方面表现出色。

3. 支持多样化模型：UniRig适用于多种类型的3D模型，包括复杂的有机和无机结构。这意味着，无论是人物角色、动物、车辆还是建筑物，UniRig都能够胜任骨骼绑定的任务。这种广泛的适用性使得UniRig成为一个真正通用的骨骼绑定框架。

4. 高效动画制作：UniRig能够极大地提高动画制作的效率，减少手动操作的时间和工作量。通过自动生成骨骼结构和预测蒙皮权重，UniRig释放了动画师的创造力，让他们能够专注于动画的艺术性和叙事性。

5. 动态效果支持：UniRig还支持生成能够用于物理模拟的骨骼属性，例如弹簧骨骼。这意味着，动画师可以使用UniRig创建出更加生动和真实的动态效果，例如角色的头发或衣服的飘动。

UniRig的技术原理

UniRig的技术原理相当复杂，但其核心思想是利用大型自回归模型和骨骼点交叉注意力机制来学习3D模型的骨骼结构和蒙皮权重。下面是对UniRig关键技术原理的详细介绍：

1. 骨骼树标记化：为了让自回归模型能够高效地处理骨骼树结构，UniRig首先将骨骼树转换为序列化的标记。这种标记化方法基于深度优先搜索（DFS）算法提取线性骨骼链，并使用特殊标记（如<type>）表示骨骼类型（如弹簧骨骼、模板骨骼）。骨骼树标记化能够有效地减少序列长度，从而提高模型的训练和推理效率。

   骨骼树标记化的优势在于：

   • 紧凑表示：通过线性骨骼链和特殊标记，骨骼树结构能够被紧凑地表示为序列化的标记，从而减少了模型的输入维度。
   • 高效处理：序列化的标记更适合自回归模型处理，因为自回归模型擅长于处理序列数据。
   • 类型信息保留：特殊标记能够保留骨骼的类型信息，例如弹簧骨骼或模板骨骼，这有助于模型学习不同类型骨骼的特征。

2. 自回归模型：UniRig使用基于Transformer的自回归模型（如Skeleton Tree GPT）来预测骨骼树。模型逐个生成标记，从而构建出完整的骨骼树。为了确保生成的骨骼结构在拓扑上是有效的，模型在生成每个标记时都会考虑其上下文信息。

   自回归模型的工作流程如下：

   • 输入：模型的输入包括从3D网格采样的点云和可选的类别信息。
   • 编码：点云编码器将点云转换为特征向量，类别信息被编码为嵌入向量。
   • 解码：自回归解码器以迭代的方式生成骨骼树的标记序列。在每一步，解码器都会根据之前的标记和编码后的特征向量预测下一个标记。
   • 输出：模型输出表示骨骼树的标记序列。

3. 骨骼点交叉注意力机制：为了预测蒙皮权重，UniRig使用骨骼点交叉注意力机制来结合点云和骨骼树的特征。具体来说，UniRig首先使用点云编码器和骨骼编码器分别提取点云和骨骼树的特征，然后使用交叉注意力机制将这些特征融合在一起，从而预测每个骨骼对网格顶点的权重。

   骨骼点交叉注意力机制的优势在于：

   • 特征融合：交叉注意力机制能够有效地融合点云和骨骼树的特征，从而提高蒙皮权重预测的准确性。
   • 关系建模：交叉注意力机制能够捕捉点云和骨骼之间的关系，例如哪些顶点应该受到哪些骨骼的影响。
   • 自适应权重：交叉注意力机制能够自适应地调整不同特征的权重，从而更好地适应不同的模型和姿势。

4. 大规模数据集：为了训练和评估UniRig，研究者们构建了Rig-XL数据集，该数据集包含超过14,000个3D模型，涵盖了多种类别。数据集的多样性和规模使得UniRig能够学习到不同类型的骨骼结构和蒙皮权重，从而提高模型的泛化能力。

   Rig-XL数据集的特点如下：

   • 多样性：数据集包含各种类型的3D模型，例如人类、动物、虚构角色、车辆和建筑物。
   • 规模：数据集包含超过14,000个3D模型，这为模型的训练提供了充足的数据。
   • 高质量：数据集中的模型都经过精心挑选和处理，以确保其质量和一致性。

5. 物理模拟辅助训练：为了进一步提高蒙皮权重预测的准确性和真实感，UniRig在训练过程中引入了物理模拟。具体来说，UniRig基于模拟骨骼在物理力（如重力、弹性力）下的运动，评估预测的蒙皮权重和骨骼属性的合理性。这种间接监督方法能够引导模型学习逼真的蒙皮权重，从而提高动画的真实感。

   物理模拟辅助训练的优势在于：

   • 真实感：通过模拟物理力，模型能够学习到更加真实的蒙皮权重，从而提高动画的真实感。
   • 鲁棒性：物理模拟能够帮助模型学习到对不同姿势和运动都具有鲁棒性的蒙皮权重。
   • 自适应性：物理模拟能够帮助模型自适应地调整蒙皮权重，以适应不同的模型和场景。

UniRig的项目地址

如果您对UniRig感兴趣，可以访问以下项目地址获取更多信息：

• 项目官网：https://zjp-shadow.github.io/works/UniRig/
• GitHub仓库：https://github.com/VAST-AI-Research/UniRig
• HuggingFace模型库：https://huggingface.co/VAST-AI/UniRig
• arXiv技术论文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf

UniRig的应用场景

UniRig的应用场景非常广泛，几乎涵盖了所有需要3D模型骨骼绑定的领域。以下是一些典型的应用场景：

1. 动画制作：UniRig可以快速生成骨骼和蒙皮权重，从而减少手动操作，提升动画制作效率。这对于动画工作室和独立动画制作人来说都具有重要的意义。
2. 虚拟角色：UniRig可以为虚拟角色（如VTuber）生成自然流畅的骨骼绑定，从而支持实时动画。这使得虚拟角色能够更加生动和真实地与观众互动。
3. 游戏开发：UniRig可以快速生成角色和物体的骨骼绑定，并支持动态效果，从而提升游戏视觉效果。这对于游戏开发商来说可以节省大量的时间和精力，并提高游戏的质量。
4. 3D内容创作：UniRig适用于建筑设计、工业设计等领域，可以支持多样化3D模型的骨骼绑定。这使得设计师能够更加方便地创建出具有复杂动画效果的3D模型。
5. 教育领域：UniRig可以作为教学工具，帮助学习者快速掌握骨骼动画的基本概念。这对于动画专业的学生和爱好者来说是一个非常有用的工具。