Multiverse：AI赋能多人游戏新纪元
Enigma Labs，一家来自以色列的创新团队，近日推出了Multiverse，这款全球首个AI生成的多人游戏模型，无疑为游戏行业带来了颠覆性的变革。它不仅仅是一款多人赛车游戏，更是一个能够实时响应玩家行为并重塑游戏世界的动态平台。
Multiverse的核心功能解析
Multiverse的核心在于其强大的功能，它能够为玩家提供前所未有的游戏体验：
多人实时交互：Multiverse支持两位玩家在同一虚拟世界中进行实时互动。这意味着玩家可以在赛车游戏中体验到真实的超车、碰撞等操作，并且双方视角保持高度一致。这种高度同步的实时交互是传统游戏难以实现的。
动态世界生成：游戏画面并非预先设定，而是根据玩家的动作和操作实时生成。这种动态生成机制使得每一次游戏体验都独一无二，充满了未知和惊喜。
高效帧预测：Multiverse能够准确预测未来的游戏帧，从而保证游戏的流畅性和连贯性。这对于实时性要求极高的赛车游戏来说至关重要，它避免了卡顿和延迟，确保玩家能够享受到丝滑的游戏体验。
低成本运行：令人惊讶的是，Multiverse可以在普通的个人电脑上运行，无需昂贵的高端硬件支持。这大大降低了使用门槛，使得更多的玩家能够体验到AI生成游戏的魅力。
Multiverse的技术原理深度剖析
Multiverse的强大功能背后，是其精妙的技术原理：
多人游戏架构：Multiverse的多人游戏架构是其核心。它通过巧妙地连接输入和输出，并从头开始重新设计训练流程，实现了真正的合作游戏体验。这一架构包含以下关键组件：
- 动作嵌入器：该组件负责获取两位玩家的动作，并输出一个代表这些动作的嵌入。这个嵌入包含了玩家行为的关键信息，为后续的世界生成提供基础。
- 去噪网络：这是一个扩散网络，能够基于两位玩家之前的帧和动作嵌入，以一个整体的形式同时生成两位玩家的帧。去噪网络是实现高质量游戏画面的关键。
- 上采样器：上采样器分别接收两位玩家的帧，并计算上采样后的版本。这有助于提高画面的清晰度和细节，从而增强沉浸感。
视角合并解决方案：在多人游戏中，视角一致性是一个巨大的挑战。Multiverse通过一种创新的解决方案来应对这一挑战：将两位玩家的视角拼接成一张图像，并将他们的输入融合成一个联合动作向量。然后，将这一切视为一个统一的场景进行处理。具体来说，Multiverse沿着通道轴堆叠两帧图像，将它们视为具有两倍色彩通道的图像。由于Multiverse的扩散模型是一个U型网络，主要由卷积层和解卷积层组成，因此每一层都会同时处理两位玩家的视图。这种方法有效地保证了视角的一致性，避免了画面割裂感。
训练方法：Multiverse的训练方法同样非常独特。为了准确预测下一帧，模型需要接收玩家的动作以及足够的帧数，以计算两辆车相对于道路和彼此的速度。研究人员发现，8帧（30帧/秒）的帧数足以让模型学习车辆运动学，如加速、制动和转向。然而，为了捕捉到两辆车的相对运动，需要将上下文的大小扩大近三倍。为了解决这个问题，Multiverse采用了稀疏采样的方法。具体来说，它向模型提供最近的4个帧，然后在接下来的4个帧中每隔4个帧提供一次。这种方法既保持了上下文的大小，又提供了更多的时间信息，使得模型能够更好地捕捉到车辆的相对运动。
为了让模型学会驾驶技术和多人游戏中的互动，Multiverse需要在这些互动场景中进行训练。由于多人游戏中的互动需要更长的时间跨度，Multiverse将训练模型进行自回归预测，最多可预测到未来15秒。为了使模型能进行如此长时间的预测，Multiverse采用了课程学习的方法，在训练过程中逐步增加预测时间。这种方法使得模型能够先学习低级特征，如汽车和赛道几何形状，然后再学习高级概念，如玩家行为。在增加预测范围后，模型的“物理一致性”和帧间一致性显著提高。
Multiverse的训练成本与开源策略
令人难以置信的是，Multiverse的训练成本仅需1500美元，并且可以在普通PC上运行。更令人兴奋的是，Enigma Labs已经全面开源了Multiverse的项目代码、数据、权重、架构及研究成果。这种开源策略无疑将加速AI在多人游戏领域的应用，并推动整个行业的发展。
Multiverse的数据集构建
Multiverse的训练数据来源于索尼的游戏《GT 赛车 4》（Gran Turismo 4）。Enigma Labs基于游戏内的回放系统，将每场比赛重放两次，从每名玩家的角度进行录制。然后，将两个录像同步并对齐，将它们合并成一个视频，展示两位玩家同时进行游戏。为了获取控制指令，Enigma Labs利用计算机视觉逐帧提取游戏屏幕上显示的油门、刹车、方向条，再反推出控制指令。此外，Enigma Labs还编写脚本向游戏的B-Spec模式发送随机输入，自动触发比赛，并从两个视角录制回放画面，从而捕捉AI驱动比赛的第三人称视频。这种自动数据生成方法大大提高了数据收集的效率。
Multiverse的应用前景展望
Multiverse的应用前景非常广阔：
- 多人游戏开发：Multiverse可以用于开发各种多人在线游戏，提供更真实、更丰富的互动体验。例如，它可以用于开发多人赛车游戏、多人射击游戏、多人角色扮演游戏等。
- VR/AR应用：Multiverse可以用于创建多人共享的虚拟环境，增强沉浸感和社交性。例如，它可以用于创建虚拟会议室、虚拟教室、虚拟展览馆等。
- AI训练与研究：Multiverse作为一个开源模型，可以用于训练智能AI Agent，研究复杂环境下的决策和协作。例如，它可以用于训练自动驾驶汽车、智能机器人等。
- 教育与培训：Multiverse可以用于创建虚拟训练场景，用于驾驶、军事演练或团队协作训练。例如，它可以用于训练飞行员、士兵、医生等。
- 娱乐与社交：Multiverse可以用于开发虚拟聚会、在线活动等应用，提供新颖的社交体验。例如，它可以用于创建虚拟演唱会、虚拟舞会、虚拟旅游等。
- 模拟经营游戏：在模拟经营游戏中，Multiverse可以用于模拟各种复杂的系统，例如经济系统、生态系统、社会系统等。每一次决策都可能影响整个模拟世界的经济和生态平衡。
结语
Multiverse的出现，标志着AI在多人游戏领域的应用进入了一个新的阶段。它不仅为玩家带来了更真实、更丰富的游戏体验，也为游戏开发者提供了新的创作工具和思路。随着技术的不断发展，我们有理由相信，AI将在未来的游戏行业中发挥越来越重要的作用。
