近年来，人工智能领域取得了令人瞩目的进展，特别是在生成式视频模型方面。许多AI支持者对这些模型展现出的、至少是对物理世界有限涌现知识的兴趣日益浓厚。这种学习能力可能成为所谓"世界模型"的坚实基础，代表着生成式AI在实际现实世界能力方面的一次重大突破。
然而，最近Google DeepMind的一项研究试图以更科学的方式检验视频模型到底能在多大程度上从训练数据中学习真实世界的知识。在这篇题为《视频模型是零样本学习者和推理者》的论文中，研究人员使用Google的Veo 3模型生成了数千个视频，以测试其在数十个与感知、建模、操作和推理现实世界相关任务中的能力。
研究背景与方法
研究人员采用了系统化的方法来评估Veo 3模型在多种物理推理任务上的表现。他们设计了数十种不同的测试任务，涵盖了从简单的图像处理到复杂的物理模拟等多个方面。每种任务都进行了12次试验，以评估模型的可靠性和一致性。
在论文中，研究人员大胆声称Veo 3"能够解决它没有明确接受训练的各种广泛任务"（即标题中的"零样本"部分），并认为视频模型"正成为统一的通用视觉基础模型"。然而，深入分析这些实验的实际结果后，研究人员似乎在某种程度上对当今的视频模型采取了较为宽松的评价标准，并假设未来的进步将解决当前许多高度不一致的问题。
模型表现：成功与失败并存
表现出色的任务
Veo 3在研究人员测试的数十个任务中确实取得了令人印象深刻且一致的结果。例如，该模型能够可靠地生成机器人手开罐或投接球的视频，在12次试验中均表现出色。同样，在图像去模糊、降噪、填充复杂图像中的空白区域以及检测图像中物体边缘等任务上，Veo 3也表现出完美或接近完美的结果。
这些成功案例表明，Veo 3在处理某些类型的视觉任务时已经具备了相当的能力。特别是在涉及基本物理交互和图像处理的任务上，模型展现出了稳定且可靠的表现。
表现不佳的任务
然而，在其他任务上，模型的表现则显示出更大的变异性。例如，当要求生成视频以突出显示网格上的特定书写字符时，模型在12次试验中有9次失败。当要求模拟本生灯点燃并燃烧一张纸时，模型同样有9次失败。当要求解决一个简单的迷宫时，模型在12次试验中有10次失败。而当要求通过按顺序标记气泡来对数字进行排序时，模型更是有11次失败。
对于研究人员来说，上述所有例子并非失败证据，而是模型能力的体现。根据论文中的"失败案例"标准，Veo 3必须在所有12次试验中都失败某项测试任务，才会被列为失败案例。在测试的62个任务中，这种情况只发生在16个任务中。对于其余任务，研究人员写道，"成功率大于0表明模型具有解决该任务的能力"。
因此，在论文中，某项任务11次失败中的1次成功被视为模型能力的证据。这种模型"拥有解决任务能力"的证据包括18个模型在超过半数的12次运行中失败的任务，以及另外14个模型在25%至50%的试验中失败的任务。
评价标准与实际应用差距
诚然，在所有这些情况下，模型在技术上确实在某种程度上展示了被测试的能力。但是，模型无法可靠地执行这些任务意味着，在实践中，它对大多数用例来说性能仍然不足。任何可能成为"统一的通用视觉基础模型"的未来模型都必须能够在这些测试中取得一致得多的成功。
虽然研究人员承认Veo 3的表现"还不完美"，但他们指出从Veo 2到Veo 3的"持续改进"，并暗示未来的视频模型"将像LLMs对语言一样，成为视觉的通用基础模型"。研究人员确实有一些数据支持这一论点。
例如，在数千次视频生成的定量测试中，Veo 3能够72%的时间反映出随机化的水平模式，而Veo 2的这一比例为零。在边缘检测、物体提取和迷宫解决等任务上，Veo 3相比Veo 2也显示出较小但仍然令人印象深刻的改进。
过去表现与未来前景
然而，正如常言所说，过去的表现并不预示未来的结果。从我们目前的角度来看，很难知道像Veo 3这样的视频模型是否即将看到一致性的指数级改进，或者是否正在接近一个收益递减的拐点。
对编造大语言模型的经验也表明，模型有时生成正确结果与升级后的模型始终生成正确结果之间往往存在巨大差距。弄清楚视频模型在给出相同基本提示时为何以及如何失败或成功，并非一个简单的问题，而且未来的模型在短期内注定无法解决这个问题。
技术局限性与未来挑战
尽管当今的生成式视频模型令人印象深刻，但这种测试中显示的不一致结果证明，在它们能够被说成是对世界进行广泛推理之前，还有很长的路要走。以下是当前AI视频模型面临的主要技术挑战：
1. 一致性问题
AI视频模型在相同任务上的表现极不稳定，这限制了它们在实际应用中的可靠性。例如，在解决迷宫问题时，模型可能在一次尝试中成功，但在十次尝试中失败。这种不一致性使得模型难以用于需要稳定输出的应用场景。
2. 物理理解局限
尽管AI模型能够生成看似合理的物理交互视频，但它们对物理原理的理解仍然有限。模型可能能够"记住"特定场景的视觉表现，但无法真正理解背后的物理规律。这导致它们在面对新的或复杂的物理情境时表现不佳。
3. 上下文理解不足
AI视频模型在理解复杂场景的上下文关系方面存在困难。它们可能无法正确识别物体之间的关系，或者无法理解事件的因果关系。这种局限性使得模型在需要高级推理的任务中表现不佳。
4. 数据依赖性
当前的视频模型高度依赖训练数据中的模式和示例。这意味着它们可能擅长生成与训练数据相似的内容，但在面对新颖或罕见的情况时表现不佳。这种数据依赖性限制了模型的泛化能力。
改进方向与未来展望
尽管面临这些挑战，AI视频模型的发展仍然充满希望。以下是可能的改进方向：
1. 多模态学习
结合文本、图像和视频的多模态学习可以帮助模型更好地理解物理世界的规律。通过将视觉信息与语言描述相结合，模型可以学习更丰富的概念表示，提高其在物理推理任务中的表现。
2. 物理约束整合
将已知的物理规律和约束直接整合到模型架构中，可以帮助生成更符合现实世界的视频。这种方法可以引导模型学习更准确的物理表示，减少幻觉和不合理的结果。
3. 强化学习应用
通过强化学习，AI模型可以在模拟环境中进行交互式学习，逐步改进其物理推理能力。这种方法可以让模型通过试错来学习物理规律，而不是仅仅依赖静态的训练数据。
4. 知识蒸馏与迁移学习
利用大型模型的知识来训练更小、更高效的模型，可以提高视频生成模型的性能和一致性。知识蒸馏技术可以帮助将复杂模型的能力转移到更实用的应用中。
结论
AI视频模型在物理世界推理方面已经展现出了令人鼓舞的进展，特别是在从Veo 2到Veo 3的改进过程中。然而，当前模型在一致性和可靠性方面的局限性仍然明显。要实现真正统一的通用视觉基础模型，研究人员需要解决模型在物理理解、上下文推理和任务一致性方面的根本挑战。
随着技术的不断进步，我们有理由相信未来的AI视频模型将能够更准确地模拟和推理物理世界。然而，这一过程需要跨学科的合作，结合计算机视觉、物理学、认知科学等多个领域的知识。只有通过这样的综合努力，我们才能期待AI视频模型真正实现其对现实世界的理解和推理能力。
