Video models are zero-shot learners and reasoners

大型语言模型（LLMs）卓越的零样本能力，已将自然语言处理从特定任务模型转变为统一的通用基础模型。这一转变源于一些简单的基本要素：在互联网规模数据上训练出的大型生成式模型。有趣的是，这些基本要素同样适用于当今的生成式视频模型。那么，视频模型是否也可能像语言模型发展出通用语言理解能力一样，正朝着通用视觉理解的方向迈进？我们证明了Veo 3能够解决大量未经过显式训练的任务：如物体分割、边缘检测、图像编辑、理解物理属性、识别物体功能、模拟工具使用等等。这些感知、建模和操控视觉世界的能力，使模型初步具备了解决迷宫问题和对称性判断等视觉推理功能。Veo所展现出的涌现式零样本能力表明，视频模型正走在成为统一的、通用型视觉基础模型的道路上。

论文探讨了当前生成式视频模型是否能够像大语言模型（LLMs）一样，发展出通用的视觉理解能力，而不仅仅局限于生成任务。具体问题是：基于大规模训练的视频模型能否在未经过显式训练的情况下，零样本地执行多种视觉理解与推理任务，如物体分割、边缘检测、图像编辑、物理属性识别、工具使用模拟等。这是一个正在兴起的重要问题，标志着从专用视觉模型向通用视觉基础模型的范式转变。

论文的核心思想是，通过扩展与训练大语言模型相似的“简单原始结构”——即大规模、自回归生成式模型在海量视频数据上的训练，视频模型（如Veo 3）可以涌现出广泛的零样本视觉理解与操作能力。这种能力并非通过专门设计的任务头或标注数据获得，而是从跨时空的视觉-语义建模中自然浮现，表明生成式视频建模可能是通向通用视觉智能的一条可行路径。相比以往专注于判别式或单任务视觉模型的研究，该思路强调生成式预训练的统一性和泛化潜力，具有显著的新颖性。

论文展示了Veo 3在多个零样本视觉任务上的惊人表现，包括空间推理（如迷宫求解）、对称性识别、对象操控模拟等，显示出初步的视觉推理能力。实验设计主要基于定性案例分析和跨任务泛化评估，未依赖传统基准测试，突出了模型的灵活性和通用性。尽管未明确提及开源代码或具体数据集细节，但其方法建立在Web-scale视频-文本对上，延续了类似PaLM-E、Flamingo、Chameleon等多模态模型的研究脉络。值得深入研究的方向包括：如何量化这些涌现能力、构建标准化的零样本视觉评测基准、以及将此类模型与具身智能或机器人系统结合。

近期相关研究包括：'Flamingo: a Visual Language Model for Few-Shot Learning'（DeepMind, 2022），'PaLM-E: An Embodied Multimodal Language Model'（Google, 2023），'Chameleon: A Visual Language Model for Joint Image-Text Generation'（Google, 2024），以及'VideoPoet: A Large Language Model for Video Generation'（Google, 2024）。这些工作共同推动了生成式多模态模型的发展，探索了语言与视觉的统一建模范式，为Veo所展示的能力提供了技术基础和理论支持。