在人工智能视频生成领域，Adobe Research 联合德克萨斯大学奥斯汀分校推出了一项引人注目的创新成果——Self Forcing。这项新型自回归视频生成算法旨在解决传统生成模型在训练和测试过程中面临的暴露偏差问题，为实时视频内容的创作开辟了新的可能性。
Self Forcing：技术原理与优势
传统的自回归视频生成模型在训练时通常依赖真实的视频帧作为条件来预测后续帧。然而，在实际应用中，模型需要根据自己生成的帧来预测未来的帧，这导致了训练和测试阶段的数据分布存在差异，即所谓的“暴露偏差”。这种偏差会降低生成视频的质量和稳定性，尤其是在生成长视频时。
Self Forcing 通过在训练阶段模拟自生成过程来解决这一问题。具体而言，模型在训练时不再依赖真实的帧，而是以先前生成的帧为条件来生成后续帧。这种方式弥合了训练和测试阶段的分布差异，使得模型能够更好地适应实际应用场景。此外，Self Forcing 还引入了滚动 KV 缓存机制，支持理论上无限长的视频生成，并且能够在单个 H100 GPU 上实现 17 FPS 的实时生成能力，延迟低于一秒。
Self Forcing 的主要功能
Self Forcing 具有以下几个显著的功能特点：
- 高效实时视频生成：Self Forcing 能够在单个 GPU 上实现高效的实时视频生成，帧率高达 17 FPS，延迟低于一秒。这意味着用户可以近乎实时地生成高质量的视频内容，为互动性强的应用场景提供了强大的支持。
- 无限长视频生成：Self Forcing 采用滚动 KV 缓存机制，能够支持理论上无限长的视频生成。这种机制允许模型在生成长视频时保持连贯性和一致性，避免了因长度限制而导致的中断。
- 弥合训练与测试差距：Self Forcing 通过在训练阶段模拟自生成过程，有效地解决了自回归生成中的暴露偏差问题。这使得模型能够更好地泛化到实际应用场景中，生成质量更高、更稳定的视频。
- 低资源需求：Self Forcing 优化了计算资源的使用，能够在单张 RTX 4090 显卡上实现流式视频生成。这意味着用户可以在普通设备上部署和使用 Self Forcing，降低了对硬件资源的依赖。
- 支持多模态内容创作：Self Forcing 的高效性和实时性使其能够为多模态内容创作提供支持。例如，在游戏直播中，可以利用 Self Forcing 实时生成虚拟背景或特效，为观众带来更丰富的视觉体验。在虚拟现实体验中，可以动态生成视觉内容，增强沉浸感。
Self Forcing 的技术原理
Self Forcing 的技术原理主要包括以下几个方面：
- 自回归展开与整体损失监督：Self Forcing 在训练阶段模拟了推理时的自回归生成过程。每一帧的生成都基于模型自身之前生成的帧，而非真实帧。通过视频级别的整体分布匹配损失函数对整个生成序列进行监督，而不仅仅是逐帧评估。这种方式使得模型能够直接从自身预测的错误中学习，从而有效减轻暴露偏差。
- 滚动 KV 缓存机制：为了支持长视频生成，Self Forcing 引入了滚动键值（KV）缓存机制。该机制维护一个固定大小的缓存区，存储最近几帧的 KV 嵌入。当生成新帧时，缓存区会移除最旧的条目并添加新的嵌入。这种机制使得模型能够在生成长视频时保持对过去信息的记忆，从而保证视频的连贯性。
- 少步扩散模型与梯度截断策略：为了提高训练效率，Self Forcing 采用了少步扩散模型，并结合了随机梯度截断策略。具体来说，模型在训练时随机选择去噪步骤的数量，并仅对最终去噪步骤执行反向传播。这种方式减少了计算量，提高了训练速度。
- 动态条件生成机制：在生成每一帧时，Self Forcing 动态结合两类条件输入：过去时间步已生成的清晰帧和当前时间步的噪声帧。通过迭代去噪完成生成，确保了生成过程的连贯性和自然性。这种动态条件生成机制使得模型能够更好地控制生成过程，从而生成更符合要求的视频内容。
Self Forcing 的应用场景
Self Forcing 具有广泛的应用前景，以下是一些典型的应用场景：
- 直播与实时视频流：Self Forcing 能够在单个 GPU 上实现 17 FPS 的实时视频生成，延迟低于一秒。这使得它非常适合用于直播场景。例如，在直播中，可以利用 Self Forcing 实时生成虚拟背景、特效或动态场景，为观众带来全新的视觉体验。这种应用可以极大地丰富直播内容，提高直播的互动性和趣味性。
- 游戏开发：在游戏开发中，Self Forcing 可以实时生成游戏场景和特效，而无需预先制作大量的视频资源。这意味着游戏开发者可以更加灵活地创建游戏内容，并且可以根据玩家的实时操作生成动态的环境变化或特效，从而增强游戏的沉浸感和交互性。例如，可以利用 Self Forcing 实时生成天气变化、植被生长等效果，使得游戏世界更加生动和真实。
- 虚拟现实与增强现实：Self Forcing 的低延迟和高效生成能力能够为虚拟现实（VR）和增强现实（AR）应用提供实时的视觉内容。在 VR 体验中，可以利用 Self Forcing 实时生成逼真的虚拟场景，增强用户的沉浸感。在 AR 应用中，可以实时叠加虚拟元素，例如在现实世界中添加虚拟的人物或物体，从而丰富用户的体验。
- 内容创作与视频编辑：Self Forcing 可以用于短视频创作工具，帮助创作者快速生成高质量的视频内容。例如，可以利用 Self Forcing 自动生成视频片段、添加特效或创建动画，从而提高创作效率。
- 世界模拟与训练：Self Forcing 可以用于世界模拟和训练场景。例如，可以生成逼真的自然环境或城市景观，用于军事训练、城市规划或环境模拟。这种应用可以帮助人们更好地理解和预测现实世界的变化，从而做出更明智的决策。
Self Forcing 的项目地址
对于对 Self Forcing 感兴趣的读者，可以通过以下链接获取更多信息：
- 项目官网：https://self-forcing.github.io/
- Github仓库：https://github.com/guandeh17/Self-Forcing
- arXiv技术论文：https://arxiv.org/pdf/2506.08009
总结与展望
Self Forcing 作为一种新型的自回归视频生成算法，通过解决传统生成模型中的暴露偏差问题，实现了高效、实时的视频生成能力。它在直播、游戏开发、虚拟现实、内容创作等领域具有广泛的应用前景，有望成为未来多模态内容创作的重要工具。随着技术的不断发展，我们期待 Self Forcing 能够在更多领域发挥作用，为人们带来更加丰富多彩的视觉体验。
未来，Self Forcing 的研究方向可能包括以下几个方面：
- 提高生成视频的质量和真实感：尽管 Self Forcing 已经取得了显著的进展，但生成视频的质量和真实感仍然有提升的空间。未来的研究可以探索更先进的生成模型和训练方法，以生成更加逼真的视频内容。
- 扩展到更多模态：Self Forcing 目前主要关注视频生成，但未来的研究可以将其扩展到更多模态，例如音频、文本等。这将使得 Self Forcing 能够生成更加丰富和综合的内容。
- 降低计算成本：尽管 Self Forcing 已经优化了计算资源的使用，但对于一些资源受限的应用场景，仍然需要进一步降低计算成本。未来的研究可以探索更高效的算法和硬件加速技术，以降低 Self Forcing 的计算成本。
总而言之，Self Forcing 是一项具有重要意义的创新成果，它为实时视频内容的创作开辟了新的可能性。我们相信，随着技术的不断发展，Self Forcing 将在未来发挥更加重要的作用。
