Self Forcing：Adobe 与德克萨斯大学的视频生成新突破
Adobe Research 联合德克萨斯大学奥斯汀分校，推出了一种名为 Self Forcing 的新型自回归视频生成算法。该算法旨在解决传统生成模型在训练和测试过程中存在的暴露偏差问题，为实时视频生成领域带来了新的可能性。
什么是 Self Forcing？
传统的自回归视频生成模型在训练时，通常以真实的视频帧作为条件来预测后续帧。然而，在实际应用中，模型需要根据自身生成的帧来预测后续帧，这导致了训练和测试阶段的数据分布存在差异，即暴露偏差。这种偏差会降低生成视频的质量和稳定性。Self Forcing 通过在训练阶段模拟自生成过程，解决了这一问题。它以先前生成的帧为条件来生成后续帧，而不是依赖真实的帧，从而弥合了训练和测试分布的差异。
此外，Self Forcing 还引入了一种滚动 KV 缓存机制，支持理论上无限长的视频生成。该算法在单个 H100 GPU 上实现了 17 FPS 的实时生成能力，延迟低于一秒，为直播、游戏和实时交互应用提供了新的机会，例如实时生成虚拟背景或特效。Self Forcing 的高效性和低延迟使其成为未来多模态内容创作的重要工具。
Self Forcing 的主要功能
Self Forcing 的核心在于其解决暴露偏差问题的能力，并在此基础上实现了高效、实时的视频生成。以下是 Self Forcing 的几个主要功能：
高效实时视频生成：Self Forcing 能够在单个 GPU 上实现高效的实时视频生成，帧率高达 17 FPS，延迟低于一秒。这意味着可以实时生成高质量的视频内容，满足对实时性要求较高的应用场景。
无限长视频生成：通过滚动 KV 缓存机制，Self Forcing 支持理论上无限长的视频生成。这为需要持续生成视频内容的应用提供了强大的支持，例如长时间的直播或虚拟现实体验。
弥合训练与测试差距：Self Forcing 在训练阶段模拟自生成过程，以生成的帧为条件生成后续帧，而非依赖真实帧。这有效地解决了自回归生成中的暴露偏差问题，弥合了训练和测试阶段的分布差异，从而提高了生成视频的质量和稳定性。可以理解为，模型在训练时就适应了自身生成的“错误”，从而在实际应用中表现更好。
低资源需求：Self Forcing 优化了计算资源的使用，能够在单张 RTX 4090 显卡上实现流式视频生成。这降低了对硬件资源的依赖，使得在普通设备上部署和使用 Self Forcing 成为可能。对于预算有限的开发者或小型团队来说，这是一个巨大的优势。
支持多模态内容创作：Self Forcing 的高效性和实时性使其能够为多模态内容创作提供支持。例如，在游戏直播中实时生成背景或特效，或者在虚拟现实体验中动态生成视觉内容。这为创作者提供了更广阔的应用空间，可以创造出更具吸引力和互动性的内容。
Self Forcing 的技术原理
Self Forcing 的技术原理是其实现高效、稳定视频生成的关键。以下将详细介绍 Self Forcing 的几个核心技术：
自回归展开与整体损失监督：Self Forcing 在训练阶段模拟了推理时的自回归生成过程。这意味着每一帧的生成都基于模型自身之前生成的帧，而不是真实的帧。为了确保生成视频的整体质量，Self Forcing 采用了视频级别的整体分布匹配损失函数对整个生成序列进行监督，而不仅仅是逐帧评估。通过这种方式，模型能够直接从自身预测的错误中学习，从而有效地减轻暴露偏差。这种端到端的训练方式使得模型能够更好地理解视频的整体结构和动态变化，从而生成更连贯、自然的视频。
滚动 KV 缓存机制：为了支持长视频生成，Self Forcing 引入了滚动键值（KV）缓存机制。该机制维护一个固定大小的缓存区，用于存储最近几帧的 KV 嵌入。当生成新帧时，缓存区会移除最旧的条目并添加新的嵌入。这种滚动缓存机制使得模型能够有效地利用历史信息，同时避免了因视频长度过长而导致的内存溢出问题。KV 缓存可以理解为一种记忆机制，让模型能够记住之前的生成状态，从而更好地预测后续帧。
少步扩散模型与梯度截断策略：为了提高训练效率，Self Forcing 采用了少步扩散模型，并结合随机梯度截断策略。具体来说，模型在训练时随机选择去噪步骤的数量，并仅对最终去噪步骤执行反向传播。这种策略可以显著减少计算量，从而加快训练速度。扩散模型是一种强大的生成模型，通过逐步去噪的方式生成高质量的图像和视频。通过结合少步扩散模型和梯度截断策略，Self Forcing 在保证生成质量的同时，大大提高了训练效率。
动态条件生成机制：在生成每一帧时，Self Forcing 动态结合两类条件输入：过去时间步已生成的清晰帧和当前时间步的噪声帧。通过迭代去噪完成生成，确保了生成过程的连贯性和自然性。这种动态条件生成机制使得模型能够更好地平衡历史信息和当前信息，从而生成更逼真、自然的视频。可以理解为，模型在生成每一帧时，既考虑了之前的生成结果，也考虑了当前的噪声信息，从而生成更符合视觉规律的视频。
Self Forcing 的项目地址
对于想要深入了解 Self Forcing 的研究者和开发者，以下是相关的项目地址：
- 项目官网：https://self-forcing.github.io/
- Github仓库：https://github.com/guandeh17/Self-Forcing
- arXiv技术论文：https://arxiv.org/pdf/2506.08009
通过访问这些地址，可以获取 Self Forcing 的最新进展、代码实现和技术细节。
Self Forcing 的应用场景
Self Forcing 的高效性和实时性使其在多个领域具有广泛的应用前景。以下是一些典型的应用场景：
直播与实时视频流：Self Forcing 能够在单个 GPU 上实现 17 FPS 的实时视频生成，延迟低于一秒。这使其非常适合用于直播场景。例如，直播平台可以利用 Self Forcing 实时生成虚拟背景、特效或动态场景，从而为观众带来全新的视觉体验。主播也可以利用 Self Forcing 创建更具个性化和互动性的直播内容。
游戏开发：在游戏开发中，Self Forcing 可以实时生成游戏场景和特效，而无需预先制作大量的视频资源。这可以大大降低游戏开发的成本和周期。更重要的是，Self Forcing 可以根据玩家的实时操作生成动态的环境变化或特效，从而增强游戏的沉浸感和交互性。例如，当玩家在游戏中移动时，Self Forcing 可以实时生成逼真的环境光照和阴影效果。
虚拟现实与增强现实：Self Forcing 的低延迟和高效生成能力能够为虚拟现实（VR）和增强现实（AR）应用提供实时的视觉内容。在 VR 体验中，Self Forcing 可以实时生成逼真的虚拟场景，从而增强用户的沉浸感。在 AR 应用中，Self Forcing 可以实时叠加虚拟元素，例如虚拟家具或虚拟人物，从而增强用户的互动体验。例如，用户可以通过 AR 应用实时查看虚拟家具在家中的摆放效果。
内容创作与视频编辑：Self Forcing 可以用于短视频创作工具，帮助创作者快速生成高质量的视频内容。例如，创作者可以使用 Self Forcing 快速生成各种特效、转场和动画，从而提升视频的吸引力。Self Forcing 还可以用于视频编辑软件，例如 Adobe Premiere Pro 或 Final Cut Pro，从而帮助视频编辑师更高效地完成工作。
世界模拟与训练：Self Forcing 可以用于世界模拟和训练场景。例如，可以利用 Self Forcing 生成逼真的自然环境或城市景观，用于军事训练、城市规划或环境模拟。Self Forcing 还可以用于生成各种交通场景，用于自动驾驶汽车的训练。
总而言之，Self Forcing 的出现为视频生成领域带来了新的突破，其高效性、实时性和低资源需求使其在多个领域具有广泛的应用前景。随着技术的不断发展，Self Forcing 将在未来发挥越来越重要的作用。
