Simulating the Visual World with Artificial Intelligence: A Roadmap

视频生成的发展格局正在发生转变，从专注于生成视觉上吸引人的片段，转向构建支持交互且保持物理合理性的虚拟环境。这些进展预示着视频基础模型的兴起——这类模型不仅作为视觉生成器，更充当隐式的“世界模型”，能够模拟支配真实或虚构世界的物理动态、智能体与环境的交互以及任务规划过程。本综述系统地梳理了这一演进历程，将现代视频基础模型概念化为两个核心组件的结合：隐式世界模型与视频渲染器。其中，世界模型编码了关于世界的结构化知识，包括物理规律、交互动力学以及智能体行为，作为一个潜在的仿真引擎，支持连贯的视觉推理、长期的时间一致性以及以目标为导向的规划能力；而视频渲染器则将这种潜在的仿真转化为逼真的视觉观测，有效地将视频呈现为通往模拟世界的“窗口”。我们追溯了视频生成技术历经四代的发展脉络，其核心能力逐步提升，最终汇聚成一种建立在视频生成模型之上的世界模型，具备内在的物理合理性、实时多模态交互能力，以及跨越多个时空尺度的规划功能。针对每一代技术，我们定义其核心特征，列举代表性工作，并探讨其在机器人、自动驾驶和交互式游戏等领域的应用。最后，我们讨论了下一代世界模型所面临的开放性挑战与设计原则，包括智能体的自主性在塑造和评估此类系统中的作用。相关研究工作的最新列表可通过该链接持续获取。

论文探讨了当前视频生成模型正从单纯生成视觉上吸引人的视频片段，向构建支持交互、具备物理合理性的虚拟环境演进。传统视频生成模型缺乏对物理规律、智能体行为和长期时序一致性的建模能力，难以支持真实世界应用如机器人控制或自动驾驶中的推理与规划。该问题在近年来随着生成模型的发展逐渐凸显，虽非全新问题，但系统性地将其定义为‘隐式世界模型+视频渲染器’的范式尚属前沿探索。

提出将现代视频基础模型解耦为两个核心组件：隐式世界模型（implicit world model）和视频渲染器（video renderer）。前者作为潜在的仿真引擎，编码物理规律、交互动态与智能体行为，支持因果推理、长期一致性与目标导向规划；后者负责将模拟状态转化为可观测视频。这一架构将视频生成从‘画图’升级为‘模拟世界’，标志着从生成模型到可交互世界模型的范式转变。相比现有研究，其创新在于明确提出了结构化的功能划分，并系统梳理了四代视频生成模型的演化路径。

论文系统回顾了视频生成的四代发展历程，每一代均在物理真实性、交互能力和规划尺度上逐步提升。作者分析了各阶段代表性工作及其在机器人、自动驾驶和游戏等领域的应用。实验部分虽为综述性质，未提供新实验数据，但通过案例分析揭示了未来世界模型应具备多模态实时交互、跨时空尺度规划与智能体协同等特性。文中提到维护一个持续更新的相关研究列表链接，暗示开源与社区共建意图。值得深入的方向包括如何量化世界模型的‘物理一致性’，以及如何融合显式符号推理与隐式神经表示。

1. VideoGPT: Video Generation using VQ-VAE and Transformers 2. Phenaki: Variable Length Video Modelling with Autoregressive Adversarial Networks 3. Make-A-Video: Text-to-Video Generation without Text-Video Data 4. Dreamix: Real-Time Panoramic Video Generation via Latent 3D Scene Models 5. World Models by Ha & Schmidhuber (2018) 6. Planning with Diffusion in Latent Space for Vision-Based Robotic Manipulation 7. Interactive Generative Pretraining: Conditioning Sequential Generators on User Interaction