在数字动画领域，将创意草图转化为生动的三维动画一直是设计师和动画师追求的目标。近日，爱丁堡大学联合Snap Research、东北大学的研究人员推出了一款名为Sketch2Anim的创新框架，为这一领域带来了新的突破。Sketch2Anim能够自动化地将2D草图故事板转换为高质量的3D动画，极大地提高了动画制作的效率和灵活性。
Sketch2Anim的核心功能与优势
Sketch2Anim的核心在于其自动化转换能力。传统的3D动画制作流程繁琐，需要动画师手动创建和调整每一个关键帧。而Sketch2Anim能够将2D草图故事板快速转换为3D动画，大大减少了手动制作的工作量，使得动画师可以将更多精力投入到创意和艺术设计上。
除了高效的转换能力，Sketch2Anim还能生成高质量的3D动画。该框架能够生成流畅、自然的3D动画，并支持多个片段之间的平滑过渡，从而保证了动画的整体质量。同时，Sketch2Anim还支持交互式编辑，用户可以实时调整生成的动画，例如修改关键姿势或轨迹，从而更好地实现设计意图。
总而言之，Sketch2Anim的主要功能可以概括为以下几点：
- 自动转换：将2D草图故事板快速转换为3D动画，减少手动制作的繁琐步骤。
- 高质量动画：生成流畅、自然的3D动画，支持多个片段的平滑过渡。
- 交互编辑：用户能实时调整生成的动画，如修改关键姿势或轨迹，提升设计灵活性。
- 提高效率：自动化流程显著提高动画制作效率，支持快速迭代设计。
Sketch2Anim的技术原理
Sketch2Anim之所以能够实现如此强大的功能，离不开其背后精妙的技术原理。该框架主要由多条件运动生成器和2D-3D神经映射器两个核心模块组成。
- 多条件运动生成器
多条件运动生成器是Sketch2Anim的核心引擎，它基于运动扩散模型（motion diffusion model），并结合了轨迹ControlNet和关键姿势适配器（keypose adapter）。
- 运动扩散模型：运动扩散模型是一种深度学习模型，它能够学习运动数据的分布，并生成新的、符合该分布的运动序列。在Sketch2Anim中，运动扩散模型负责生成动画的整体运动。
- 轨迹ControlNet：轨迹ControlNet负责将关节轨迹嵌入到运动扩散模型中，从而控制全局动态运动。这意味着用户可以通过绘制关节轨迹来引导动画的生成，例如，可以指定角色手臂的运动轨迹，从而控制手臂的挥动方式。
- 关键姿势适配器：关键姿势适配器在轨迹ControlNet的基础上，进一步细化局部静态姿势，确保生成的动画精确符合输入的关键姿势。这意味着用户可以通过指定关键姿势来控制动画的细节，例如，可以指定角色在某个时刻的站立姿势，从而控制角色的身体形态。
通过运动扩散模型、轨迹ControlNet和关键姿势适配器的协同工作，多条件运动生成器能够生成既符合整体运动规律，又精确符合用户指定的关键姿势的3D动画。
- 2D-3D神经映射器
2D-3D神经映射器的作用是将2D草图中的信息转换为3D动画所需的控制信号。它包含2D和3D的关键姿势和轨迹编码器，能够在共享嵌入空间中对齐2D草图和3D运动约束，从而实现直接的2D到3D动画控制。
简单来说，2D-3D神经映射器就像一个翻译器，它能够理解2D草图中的信息，并将这些信息转换为3D动画可以理解的指令。这使得用户可以直接通过绘制2D草图来控制3D动画的生成，而无需手动指定每一个3D参数。
- 运动融合与优化
为了生成完整的动画，Sketch2Anim采用了运动融合与优化技术。基于确定性DDIM逆过程和引导去噪，该技术能够将多个动画片段平滑过渡，生成连贯的动画。同时，Sketch2Anim还采用了分类器自由引导和二阶优化方法，进一步优化生成的动画，使其更符合输入的2D条件。
- 数据处理与增强
为了训练出强大的模型，Sketch2Anim使用了HumanML3D数据集进行训练。该数据集包含14,646个动作和44,970个对应的运动注释。为了提高模型的泛化能力，研究人员还采用了基于相机视图增强、关节扰动和身体比例扰动等数据增强技术，生成了多样化的2D关键姿势和轨迹。
Sketch2Anim的应用场景
Sketch2Anim的应用前景广阔，可以应用于多个领域：
- 影视动画：在影视制作的前期预览中，Sketch2Anim可以帮助动画师快速生成动画草稿，从而提高效率。
- 游戏开发：Sketch2Anim可以加快游戏动作设计和剧情动画制作的速度，缩短开发周期。
- 广告宣传：将创意草图变成3D动画广告，能够增强视觉效果，吸引观众的注意力。
- 教育培训：Sketch2Anim可以帮助学生更好地理解复杂知识，例如，可以通过动画演示复杂的物理过程。
- VR/AR应用：将2D草图直接转换为沉浸式3D动画，可以丰富虚拟场景，增强用户体验。
结语
Sketch2Anim作为一款创新的2D草图转3D动画框架，具有高效、高质量、交互性强等优点，有望在影视动画、游戏开发、广告宣传、教育培训、VR/AR等领域得到广泛应用。随着人工智能技术的不断发展，我们有理由相信，未来的动画制作将会更加智能化、自动化，为创意工作者带来更大的便利和可能性。
项目地址
感兴趣的读者可以通过以下链接了解更多关于Sketch2Anim的信息：
