近年来，人工智能领域的视频生成模型取得了显著进展，引起了广泛关注和投资。特别是像Google的Veo 3这样的模型，展示出了令人印象深刻的视频生成能力，甚至被认为可能具备对物理世界的一定理解能力。这种理解能力如果得到验证，将标志着生成式AI在实际世界应用能力上的重大突破，为构建所谓的'世界模型'奠定基础。
然而，最新研究对这些模型的实际能力提出了质疑。Google DeepMind的研究团队在一篇题为《视频模型是零样本学习者和推理者》的论文中，通过系统性测试揭示了当前AI视频模型在物理推理任务中的高度不一致表现。
研究背景与方法
DeepMind的研究团队使用Google最新的Veo 3视频生成模型，设计了一系列实验来测试其在多种与物理世界相关的任务上的表现。这些任务涵盖了感知、建模、操作和推理等多个方面，旨在全面评估模型对现实世界物理属性的理解能力。
研究团队声称Veo 3能够解决各种它没有明确训练过的任务（即'零样本'能力），并认为视频模型正朝着成为统一、通用的视觉基础模型的方向发展。然而，深入分析实验结果后，我们发现这些模型的表现存在显著的不一致性，远未达到可靠推理物理世界的水平。
实验结果：表现的两极分化
成功案例：令人印象深刻的一致性
在测试的数十个任务中，Veo 3确实在某些任务上展现出了一致且令人印象深刻的表现。例如：
- 机器人手操作任务：模型能够可靠地生成机器人手打开罐子的视频，在12次试验中均取得成功。
- 物体互动任务：生成抛接球的视频表现同样完美或接近完美。
- 图像处理任务：在图像去模糊、去噪、填充复杂图像空白区域以及检测物体边缘等方面，模型表现出色。
这些成功案例表明，Veo 3确实掌握了一定的物理世界知识，能够生成符合基本物理规律的视频内容。
失败案例：高度不一致的表现
然而，在许多其他任务上，模型的表现却大相径庭，显示出严重的不一致性：
- 字符高亮任务：当要求模型生成视频突出显示网格上的特定字符时，12次试验中有9次失败。
- 物理模拟任务：在模拟本生灯点燃并燃烧纸张的任务中，同样有9次失败。
- 问题解决任务：在解决简单迷宫时，12次试验中有10次失败；在按顺序标记弹出数字气泡的任务中，则有11次失败。
研究结论的争议：能力还是局限？
有趣的是，研究团队将这些不一致的表现解读为模型能力的证据，而非失败。根据论文中的标准，只有在所有12次试验中都失败的任务才被列为'失败案例'，这样的任务在测试的62个任务中只有16个。
对于其他任务，研究团队认为'成功率大于0表明模型具备解决该任务的能力'。这意味着，即使模型在12次试验中只成功1次，也被视为具备相关能力。按照这一标准，有18个任务模型在超过一半的试验中失败，另有14个任务模型在25%到50%的试验中失败。
这种评估方式实际上降低了成功标准，将偶尔的成功视为能力的证明，而忽视了模型在实际应用中需要的一致性和可靠性。
从Veo 2到Veo 3：进步与局限
研究团队承认Veo 3的表现'尚不完美'，但他们指出从Veo 2到Veo 3存在'持续改进'，并预测未来的视频模型将'成为视觉的通用基础模型，正如LLMs已成为语言的通用基础模型'。
确实，一些数据支持这一乐观观点。例如，在数千次视频生成的定量测试中，Veo 3能够72%的时间正确反映随机模式的水平翻转，而Veo 2在这一任务上的成功率为0%。在边缘检测、物体提取和迷宫 solving等任务上，Veo 3也显示出比Veo 2更好的一致性。
然而，过去的性能并不总能预示未来的结果。从当前的角度看，我们难以判断像Veo 3这样的视频模型是否即将迎来一致性方面的指数级改进，或者是否已经接近收益递减点。
经验教训：从语言模型到视频模型
与语言模型的交互经验表明，模型'有时'生成正确结果与升级后的模型'总是'生成正确结果之间往往存在巨大差距。理解视频模型在给定相同基本提示时失败或成功的原因、时机和方式，并非一个简单的问题，也不是未来模型注定很快能解决的问题。
未来展望
尽管当前的生成式视频模型令人印象深刻，但这种测试中显示的不一致结果证明，它们在能够被认为能够广泛推理世界之前还有很长的路要走。要成为真正的'世界模型'，AI视频模型需要在以下方面取得突破：
- 提高一致性：在相同条件下重复执行任务时，需要达到更高的一致性。
- 增强物理理解：不仅需要生成符合物理规律的视频，还需要真正理解物理规律背后的原理。
- 泛化能力：将学到的知识应用到新的、未见过的场景中。
- 可靠性：在实际应用中提供可靠、可预测的结果。
结论
AI视频模型在物理推理方面的表现呈现出两极分化的特点：在某些任务上展现出令人印象深刻的一致性，而在其他任务上则频繁失败。这种不一致性表明，尽管这些模型取得了显著进展，但距离成为真正理解物理世界的'世界模型'仍有很长的路要走。
研究团队对模型能力的乐观评估与实际测试结果之间存在一定差距，这提醒我们需要以更加谨慎和批判的态度看待AI模型的当前能力。随着技术的不断发展，我们有理由期待未来视频模型在一致性和可靠性方面的改进，但同时也需要认识到，实现真正的物理世界理解可能需要更多的基础性突破。
对于从业者和研究者而言，这一研究强调了全面、严格评估AI模型的重要性，不仅关注其成功案例，更要关注其失败模式和局限性。只有这样，我们才能更准确地把握AI技术的发展现状，为未来的研究和应用提供更有针对性的方向。
