世界模型在今年迎来了自己的全盛时期。视频生成说自己是世界模型，机器人说自己是世界模型，游戏引擎、自动驾驶、3D 生成全都在往这个词上靠。

但热度越高，概念反而越模糊。如果所有人都在讲世界模型，它究竟指的是什么？

几乎被视为「世界模型」代表人物的李飞飞，近期专门撰文讨论了这一问题。她认为，在这个领域最需要精确定义的时候，「世界模型」已经成为当今 AI 领域最被过度使用的术语之一。如今被称作世界模型的各种系统，本质上是在解决三个不同的问题：渲染世界、模拟世界，以及在世界中行动。它们是同一套世界理解能力的不同投影。

而在李飞飞这篇文章之前，科技博客作者 Packy McCormick 与时空智能前沿实验室 General Intuition 的 CEO Pim De Witte 也合写了一篇万字长文。他们从 1990 年的奠基论文讲起，一路梳理到今天机器人和自动驾驶的真实部署，串起了世界模型三十多年的技术演进，试图解答世界模型为何会成为通向 AGI 的重要路径。

我们汇总了两篇文章的要点，想要讲清楚几件事：

到底什么是世界模型？什么不是？
当下的竞争格局：世界模型将走向何方，哪条路线可能胜出？
所有路线都会撞上的那堵墙是什么，有哪些可能的解法？

原文地址：

https://www.notboring.co/p/world-models

https://drfeifei.substack.com/p/a-functional-taxonomy-of-world-models

⬆️关注 Founder Park，最及时最干货的创业分享

Founder Park 正在持续寻找值得被看见的 AI 团队与项目。

我们将通过「AI 产品市集」、内容报道、社群分发等方式，帮你触达早期用户、获得真实反馈，以及建立关键连接。

如果你正在做 AI 相关的事，欢迎和我们聊聊。

01 热钱涌入，

但「世界模型」概念仍是一团浆糊

世界模型最近获得了大量关注。Yann LeCun 宣布为 AMI 筹集了 10.3 亿美元。李飞飞的 World Labs 也已融资超过 10 亿美元。背靠科技史上最强印钞机的 Google DeepMind 同样在押注世界模型。但到目前为止，这些投资带来的主要是炫酷的视频和 3D 世界。

一如既往，炒作加剧了混乱。AMI Labs 的 CEO Alexandre LeBrun 对 TechCrunch 说得很直接：「我预测『世界模型』会成为下一个流行词。六个月后，每家公司都会自称是世界模型公司来融资。」

NVIDIA 机器人总监、杰出科学家 Jim Fan 最近说：「不幸的是，世界模型目前最被热炒的应用场景是 AI 视频垃圾 (以及即将到来的游戏垃圾)。我完全有信心，2026 年将是大型世界模型为机器人以及更广泛的多模态 AI 奠定真正基础的第一年。」

我们以及这个领域里其他所有建设者真正相信的是，世界模型是控制物理世界中的机器的路径。关于这条路径具体会是什么样子，各家有不同看法，但所有人都相信未来要经过世界模型。

混乱的根源在于，这个词的定义仍然不够清晰。世界模型到底是什么？视频模型不算，3D 空间模型也不算，不过两者都可能是通往世界模型的路径。今天让机器人动起来的那些模型是世界模型吗？严格来说不算，虽然有些是，而且即便不是的那些也与世界模型架构共享某些特征。

世界模型模拟环境，并在你于其中行动时做出响应。更正式地说，世界模型是一种交互式预测模型，它根据动作来模拟时空环境。大语言模型预测句子中的下一个词，世界模型预测下一个状态 (即近未来)，条件是当前状态和控制输入，这是世界模型的简要定义。

世界模型提供了一条大语言模型无法提供的通向通用智能的路径。大语言模型从海量文本中学到了世界有结构，编码了大量因果和物理知识，但这些都不是来自体验。有一种观点认为，随着规模扩大，语言和代码将能够解决所有时空智能挑战，并产生 AGI 乃至 ASI。语言当然很重要，但本身不够，它是对现实的一种极度有损的压缩。大语言模型是精妙的符号操纵者，能够在人类全部文本知识中建立联系。它们可以讨论物理学、写诗、写代码、解释棒球规则，是人类智识史上伟大的成就之一。但它们完全运作在表征的领域，可以描述鼓掌但不会鼓掌，可以谈论重力，但不像一个蹒跚学步的孩子那样「知道」重力。孩子是通过成千上万次摔倒和绊倒，用身体学会「下」意味着什么的。

有人认为代码是解决许多现实世界智能问题的关键，因为它可以精确地指令所有物理形态。我们不认同这种观点。基于代码的模拟是梦的另一个糟糕版本，受规则束缚，无法处理现实的随机混乱性。要认识世界，你必须与之交互。

视频模型（Sora、Veo 3、Kling、Seedance 2.0 等）能生成惊人的视频，但你无法与它们交互，不能在其中采取动作并实时观察环境的响应。它们预测的是场景随时间推移「看起来」会是什么样，而非模拟「因为你做了某件事」会发生什么。你有没有做过一种梦，在梦里你只是站在那儿看着事情发生，却无法介入？那就是一个视频模型。

现实世界不一样。它会回应你的行为或指令，预测因此可能发生的全部结果，而不只是给出最可能或最好看的下一帧。你有没有做过清醒的梦，能在梦境中主导故事的走向？那就是一个世界模型。

更正式地说：标准视频模型基于概率预测下一帧，P(x(t+1) | x(t))；而世界模型基于干预预测下一个状态，P(s(t+1) | s(t), a(t))。那个 a(t)，即时间 t 时刻的动作，就是关键所在。

当然，边界正在模糊。Odyssey 由自动驾驶领域的重量级人物 Oliver Cameron(前 Cruise) 和 Jeff Hawke(前 Wayve) 创办，定位为「一个在视频中做梦的世界模拟器」。目前它不允许你在其中采取动作并观察环境响应，但允许在视频生成过程中通过 prompt 实时改变方向。界线该画在哪里？这种能力已经在模糊视频模型和世界模型的边界。

Runway 从视频生成起步，但已得出结论，具有物理感知的视频生成是通向更大目标的路径。Runway 联合创始人兼 CTO Anastasis Germanidis 在 2025 年 Research Demo Day 上解释了公司从「生成式 AI 作为创意表达工具」到世界模型的演进：「要构建世界模型，我们首先需要构建一个非常好的视频模型。我们相信教模型直接预测像素是实现通用模拟的正确路径。」这催生了 GWM-1，他们标注的「通用世界模型」，交互式、可控、通用。Google DeepMind 的 Genie 3 也走了类似的路径，基于 Veo 构建。真正的价值不会来自视频本身，而是来自将视频作为训练环境、以控制具身系统为目标的模型。

3D 重建和生成模型，李飞飞领导的 World Labs 是最有趣的例子。它是大多数人与「世界模型」联想在一起的公司，但按本文定义还不是在构建世界模型。其产品 Marble 生成持久 3D 环境，但目前不具备交互性 (除了移动浏览)。World Labs 自己也说交互性是未来的机会。值得注意的是，World Labs 最近已经开始探索直接生成帧的世界模型。

世界模型，这些从观察世界和其中发生的动作中学习的系统，是一类根本性的新型基础模型，它们能够计算此前无法计算的东西。它们的重要性将远超大多数人目前的认知，因为它们提供了一条通向通用智能的路径，而语言和代码单独无法到达那里。毕竟身而为人，就是用一辈子的时间基于我们的经历、观察和学习来采取行动。

02 李飞飞：

今天说的所有「世界模型」，是三种不同的东西

「世界模型」是当今 AI 领域最重要、也最被过度使用的术语之一。计算机视觉、机器人学、强化学习和生成式 AI 各自都声称自己在构建世界模型，但每个领域所说的意思都大相径庭。一个生成出华美但物理上不可能存在的火焰的视频模型、一个即兴生成可玩游戏的语言模型、一个忠实模拟燃烧过程的物理引擎，它们都被冠以同一个名字。

理解这种混乱，可以从强化学习教材一张沿用了数十年的图说起：Agent → 行动 → 状态 → 观测 → 循环往复。一个 Agent 采取行动，行动影响世界的状态。Agent 永远无法直接看到状态本身，它能接收到的是观测，落在视网膜上的光子、传感器的读数、视频帧中的像素。新的观测触发新的行动，循环继续。

这个循环正是「世界模型」这一现代技术概念诞生的结构性背景，也解释了人们今天所说的「世界模型」究竟指什么。如今被冠以这个名称的各种事物，实际上是同一个循环的不同投影，每一种输出的都是循环中的一个不同片段。

第一种世界模型是渲染器。

渲染器输出的是以像素形式呈现、供人眼观看的观测结果，最重要的质量指标是视觉保真度。一个将文字提示转化为电影级无人机镜头的视频模型是渲染器，像 Google 的 Genie 3 或 World Labs 自己的 RTFM 这样的交互系统也是渲染器。在这些系统中，模型以用户输入为条件、实时生成画面帧。这类模型不携带任何对三维结构的显式理解，它生产的是观察者所能看到的东西，而非事物的本质。无人机镜头里的建筑从高空俯瞰或许无可挑剔，但你若试图驾车驶过那座城市，它们便会轰然崩塌。

渲染器是迄今为止商业化程度最高的一类。多款图像或文本转视频产品正在消费者和企业市场迅速扩张，Google 的 Nano Banana 模型已将渲染器级别的图像生成能力交到潜在数亿用户手中。技术是真实的，市场也是真实的。然而，渲染器针对的是视觉可信度而非物理精确性，而这个天花板至关重要，它们的输出很美，但不可信赖到足以设计一座建筑或训练一个机器人。

第二种是模拟器。

模拟器输出的是状态，一种几何上、物理上或动力学上忠实于世界的表征，人类和计算机程序都可以在其上进行计算和交互。渲染器的合同是纯视觉的，而模拟器的合同是结构性的，要求经得起检验的几何结构、遵循牛顿定律的物理，以及按照物理规律运作的动力学行为。

模拟器同时服务于两类用户：建筑师、设计师、电影制作者和游戏开发者等专业人员需要超越视觉可信度的精确性；强化学习 Agent、机器人控制器和自动驾驶汽车则将模拟器用作训练场，在那里可以大规模与世界交互，测试在现实中危险、昂贵或不可能执行的场景。

如果说语言是对世界的抽象，像素是对世界的投影，那么几何、物理和动力学才是世界本身。模拟器是连接渲染与规划的结构性脊梁，视觉外观和行动后果都可以从它派生而来。一个掌握了模拟能力的模型，既可以将其理解投影为供人类消费的像素，也可以投影为供具身 Agent 使用的行动预测。

模拟器受到的公众关注最少，却是三者中影响最深远的。这里的商业覆盖面是巨大的，仅 NVIDIA 的 Omniverse，该公司估计目标市场就包括超万亿美元的工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶测试、建筑可视化、工程设计和药物发现，全都依赖于某种模拟器形态的东西。

这里也是最困难的开放性问题所在。带有显式几何结构、材质属性和物理标注的三维数据，比渲染器赖以训练的互联网视频稀缺几个数量级。仿真到真实的迁移差距依然存在，生成式模拟器还引入了新的风险，AI 生成的几何体可能看起来正确，却包含自相交或错误比例，从而产生荒谬的物理行为。多物理场仿真（刚体、可变形物体、流体和布料在大规模环境中全部相互作用）的计算成本，比单一领域仿真高出数个数量级。

第三种是规划器。

规划器输出的是行动。给定一个观测和一个目标，规划器回答的问题是，Agent 下一步应该做什么？

在某种意义上，这与渲染器正好相反。渲染器以行动为输入，产出观测；规划器以观测为输入，产出行动，从而闭合感知-行动的循环。视觉-语言-行动模型（VLA）、基于模型的系统，以及新一波的"世界行动模型"，都是对规划器的尝试，让系统能够决定机器人在非结构化世界中应该做什么。

规划器是最令人着迷、也最不成熟的一类，与快速演进的机器人学习领域紧密相连。过去两年里，这个领域已经产出了一批看起来令人印象深刻的机器人演示视频，但对于这些演示实际展示了什么，我们需要保持坦诚。几乎所有演示都局限于受到严格约束的实验室环境，操作对象种类有限，任务时间跨度短暂。没有一个经过验证，达到了真实部署所要求的复杂性、可变性或持续时长。一个引人入胜的演示视频，与一个能在厨房、仓库或手术室里可靠工作的机器人之间，鸿沟依然巨大。

尽管如此，商业押注依然规模可观。大批资金雄厚的入局者正争相推出通用规划系统，而最大的基础设施厂商也在更宏观的模拟栈之上布局规划能力。能够规划的机器人，就是能够工作的机器人，整个行业都在竞相成为率先到达那个目标的人。

这三个类别描述了当今大多数实际落地的产品，它们之间的区分在实践中也非常有用，但在根本上并不彼此分离。

一个真正理解一只杯子如何放在桌子上的模型（它的几何结构、材质属性、对力的响应等），理论上既应该能够从任意视角渲染出这只杯子，也能够模拟它被推动后会发生什么，还能够规划出一只手如何将它拾起。换句话说，这三个类别本质上是同一种底层世界理解的三种不同投影。越来越多最有趣的研究，正是在刻意模糊这三者之间的边界。

已经有早期证据指向这种融合。一些来自机器人实验室的工作已经表明，在概念上，一个预训练的视频渲染模型可以同时作为世界预测和行动预测的骨干网络。这意味着，渲染器与规划器之间或许可以通过同一个模型完成桥接，既负责「想象接下来会发生什么」，也负责「决定下一步该做什么」。World Labs 的 Marble 已经能够在单一模型中同时输出高斯点云和碰撞网格，进一步模糊了渲染器与模拟器之间的边界。

三个层级都在从被动输出走向交互系统：渲染器开始以行动为条件生成内容；模拟器生成的世界变得更加可控、可编辑；规划器则从单纯反应走向审慎深思。

从逻辑上推演，其终点将是一个统一的世界模型。一个单一基础模型，既能渲染照片级真实感的视觉内容，又能生成具备物理精确性的世界结构，还能规划复杂的行动序列，并根据下游任务需求在不同输出模态之间自由切换。

但我们仍将面临许多艰巨的挑战。数据供给不平衡，渲染器拥有几乎取之不尽的互联网视频数据，而模拟器和规划器则长期受限于高质量三维资产和机器人示范数据的稀缺，针对视觉美感的优化可能牺牲机器人或高保真仿真所需要的精确性。如何在统一架构中协调这些目标，仍然是当前世界模型研究最核心的开放问题之一。

03 数据是世界模型的命门，

游戏可能是一种解法

所有方法最终都会撞上同一堵墙，需要更好的数据。视频数据很丰富，但缺乏深度，没有行动标注。在不知道是什么动作导致了视频中所看到的事物的情况下，视频数据就像柏拉图洞穴墙上的影子。

世界模型的构建要从大量的观测数据开始。通常观测会与产生它们的动作配对。观测 (通常是视频) 被预先收集，动作要么与视频同步录制，要么在事后由另一个模型推断。或者模型通过自己采取动作来学习，通过与环境的直接交互来生成自己的观测和动作数据。

仅靠物理世界数据，无法达到学习通用智能所需的多样性和规模。大语言模型缺乏关于动态和原子的数据。General Intuition 认为，游戏充当了理想的中介，是连接数字比特世界与物理原子世界的桥梁。

General Intuition 的独特起点来自 Medal，一个专为游戏玩家设计的片段录制平台。今天，全球玩家每年向 Medal 上传超过 10 亿个游戏片段。Medal 拥有 YouTube 没有的东西：游戏内动作。每一段录制不只是画面，它同时捕获了玩家当时看到的游戏帧，以及触发下一帧的精确操作指令。

这使得游戏数据在结构上优于真实世界视频。现实视频需要对人类意图做姿态估计，本身就是一个有损过程，摄像头可能没拍到你看到的东西，你的意图需要被推断。但游戏中不存在这个问题，录制内容和玩家所见始终完全一致。信息完整，动作对齐，每一帧都是干净的「观察-预测-行动」样本。Medal 的数据库提供了数万亿个这样的循环，全程无信息损失。

人们容易把「数字的」和「合成的」混为一谈，但真正的区分标准在于数据本身，跟数据是在什么环境中生成的无关。物理世界中可以有合成数据，比如 Boston Dynamics 和其他机器人公司在人工搭建的环境中训练机器人；同样，数字世界中也可以有人类真实数据。

数据可以按一个四象限矩阵来理解：横轴是数据生成的环境（数字 vs. 真实世界），纵轴是数据的来源（人类真实行为 vs. 合成/生成）。Medal 的游戏数据落在「数字环境 × 人类真实数据」象限，Tesla 的人类司机数据落在「真实世界 × 人类真实数据」，CARLA 和 Isaac Sim 这类传统模拟器落在「数字环境 × 合成数据」，Tesla FSD 和 Waymo 的回放重建落在「真实世界 × 合成数据」。

Medal 的游戏数据捕获的是真实人类的「观察-预测-行动」循环中的真实响应。最接近的对标是 GitHub 数据，它记录了人类工程师的编码历史，用来训练出超越人类的编码机器。问题是同样的思路能否延伸到计算机之外。

General Intuition 相信并且正在看到迹象，从游戏数据中学到的东西可以迁移到物理世界。游戏是学习智能的完美训练场，它们包含数千个具有物理规律、策略、协作、文字、界面使用、竞争和长期规划的模拟世界，足够复杂以需要直觉，足够结构化以可以大规模学习。

构建经济可行的具身 AI，大致有两种路径：小步或大跳。

小步路线的代表是 Standard Bots：通过让不同行业、不同任务的客户付费部署，他们在广泛分布上收集真实世界数据。策略是在真实世界中铺开足够多的有用任务，把大量任务放进分布内，而非寄望于窄领域的数据能自动泛化。

General Intuition 和 Standard Bots 从光谱的两端切入同一个问题。General Intuition 从数字侧解决泛化，赌注是游戏数据能提供关于物理和动作的广泛先验。Standard Bots 从物理侧解决泛化，赌注是真实世界部署能提供关于操作和工业任务的广泛先验。两种方法在数据多样性问题上是互补的，GI 的世界模型可以作为 Standard Bots 做后训练的起点，Standard Bots 用付费收集的用例数据做微调，更快地把那些用例拉进分布内。

更困难的路径是通用模型目前在走的路，即收集大量数据并寄望于它能泛化到分布外的任务。通用模型需要跨越太多场景的太多数据，靠付钱让人演示任务来收集是不现实的。

更关键的是，同一领域的更多数据不会自动教会模型处理它从未见过的情况。在预训练阶段，数据不是平等的。我没有遇到过任何一个做通用机器人模型的人能指出 scaling law 来证明，他们可以通过加数据来解决他们没有训练过的场景，窄领域的更多数据不会自动换来对新领域的泛化能力。

据目前的理解，有三条独立的迁移曲线决定着世界模型能否泛化到新的物理环境。

第一条：输入模态迁移。策略跨物理系统自由度泛化的能力如何？对于拥有二十到六十个自由度的人形机器人，这条曲线是陡峭的。每个关节是连续的，且往往在机械上相互依赖。用游戏手柄训练，然后指望它能干净地迁移到一个二十自由度的人形手上，是一个没有 scaling law 支撑的赌注。

第二条：传感器迁移。如果工作负载需要专用物理传感器（触觉反馈、本体感觉、深度感知），存在一条独立的 scaling law 决定需要多少该类型传感器数据。特斯拉明确研究了这个问题，他们花了好几年搞清楚需要多少 LiDAR 数据，才能完全放弃 LiDAR 芯片。大多数机器人公司在隐含地处理这个问题，寄望于答案会在部署中自己浮现。

第三条：环境迁移。当环境变得更复杂、更随机、人更多时，性能退化得多快？在一个有一千人的体育场里预测正确的动作，比在空旷的场地上要难得多。复杂度不是线性增长的。

这三条曲线相互作用。在映射它们之前，你无法知道实际需要哪种类型和多少数据，这意味着你无法合理地论证大规模收集数据所需的资本支出。今天正在收集十万小时物理数据的公司，可能会发现一个好的世界模型只需要一万小时，也可能发现确实需要十万小时，但其中九万小时完全在错误的分布里。

04 世界模型三十年简史：

从游戏到真实世界

世界模型领域经历了四波浪潮，每一波代表领域焦点转向新问题的一个重要时期。

Wave 0（1990-1991）

深度学习前时代。两篇早于时代数十年的论文，提出了奠基性问题。

Jürgen Schmidhuber，《Making the World Differentiable》：提出构建一个 RNN，学习预测模拟世界中接下来会发生什么，并用该模拟世界训练 Agent 在其中行动。Agent 根本不需要与「真实」环境交互，它可以在模型内部学习，在梦境内部学习。

Richard Sutton，《Dyna》：主张学习、规划和反应不应是独立系统，应统一在单一架构中。这意味着技术上可以构建一个世界模型，在其中练习，再将所学迁移回现实。

两篇论文都极具远见，但当时本质上是科幻。1990 年，全世界的计算能力比今天少 100 万亿到 1000 万亿倍；全球数字数据总量约为 10 PB。到 2026 年，这一规模已扩大 2200 万倍，达到 221 ZB。在拥有算力、数据或架构之前，我们先有了梦。

Wave 1（2018–2019）：「这东西真能行吗？」

Ha & Schmidhuber，《World Models》：构建了一个三组件系统。

V（视觉模型）：将原始像素观测压缩为紧凑表征
M（记忆模型）：一个 RNN，学习预测接下来发生什么
C（控制器）：微小，仅基于 V 和 M 的输出决定做什么

他们在赛车游戏和第一人称射击游戏上训练世界模型，然后让 Agent 完全在世界模型的幻觉梦境中练习，再将习得的策略迁移回真实环境，结果奏效了。

Model Based Reinforcement Learning for Atari 引入了 Atari 100k benchmark：SimPLe 算法能否仅用 10 万步真实环境交互 (大约两小时的游戏时间) 学会玩 Atari 游戏？答案是肯定的。SimPLe 学会了玩 26 款 Atari 游戏，并在样本效率上击败了对标模型。

但它能玩得跟人一样好吗？

Wave 2（2020–2022）：「能媲美人类吗？」

Danijar Hafner 在 Google DeepMind 开发的 DreamerV2 很快给出了答案。它使用带有离散潜表征的 Recurrent State-Space Model (RSSM)，一种维持世界的压缩记忆并随每次观测更新的系统。DreamerV2 成为第一个在 55 款 Atari 游戏基准上达到人类水平表现的 World Model Agent，完全在想象中训练，只用一块 GPU。

同年，另一个 DeepMind 团队在 Nature 上发表了 MuZero 模型。它也能打败 Atari 游戏以及围棋等，但采取了几乎完全相反的哲学路线。DreamerV2 生成可观察的梦境环境并在其中训练，而 MuZero 从未生成过任何可观察的东西，完全在它为自己发明的抽象潜表征中进行规划，而且做得非常好。

事实上，MuZero 甚至超越了此前所有专门针对围棋的模型，而那条进化链本身就已经令人叹为观止。2016 年，DeepMind 的 AlphaGo 以 4:1 击败围棋世界冠军李世乭，它在大量人类专家棋谱加自我对弈的基础上训练，游戏规则是硬编码的。

第二年，AlphaGoZero 完全从自我对弈开始，不使用任何人类棋谱数据，仅保留规则，以 100:0 碾压了 AlphaGo。

同一轮论文季，AlphaZero 将 AlphaGoZero 的方法泛化到了国际象棋和将棋，两者都在数小时内登顶。

然后是 2019 年的 MuZero，它把规则、游戏动态、价值函数全都从头学起，纯靠观察和结果。它在围棋、国际象棋和将棋上匹配了 AlphaZero，同时还泛化到了 57 款 Atari 游戏。

每一代新模型都移除了一样人类此前硬编码的东西：规则、策略、局面价值，模型从零开始自己学会了这些。MuZero 是这条进化链的终点，完全学习，无需人类先验。而且 MuZero 完成这一切时根本没有想象过未来的棋盘状态，它想象的是抽象向量，是它在训练中为自己发明的隐藏状态，与任何人类可观察或可解读的东西没有对应关系。一个人类看 MuZero 对「三步之后」的内部表征，完全不知道它在想什么。然而，它超越了所有前代模型。

MuZero 的成功意味着领域中出现了两个对立的思想流派：Generative World Model(生成式，产生可观察的未来) 和 Latent World Model(潜式，在抽象空间中预测)。此后，进展在两个方向上同时发生。

游戏之所以反复出现，是因为它是唯一能提供大量标注过的时空数据的领域，清晰的动作-结果配对、一致的物理、无歧义的奖励信号、受控的实验环境。真实世界不具备这些属性。早期的世界模型，就像人类的孩子，大部分时间都在观看和玩游戏。

Wave 3（2023–2024）：「能真正实现交互吗？」

第一个答案来自自动驾驶。GAIA-1 (2023) 由 Wayve 开发，将 IRIS 开创的序列建模方法扩展到 90 亿参数，并在真实世界驾驶视频上训练。GAIA-1 能够同时响应动作输入 (操控车辆)、文本提示 (「雨天，高速公路」) 或两者的组合来生成驾驶场景。

GAIA-1 确认了 LLM 中观察到的 scaling law 在视觉世界模型上同样成立，更多数据和更多参数带来可预测的更好表现，这意味着前进的路径是清晰的，即使它很昂贵，那就是扩大规模。

接下来的 DIAMOND (2024) 由 General Intuition 联合创始人开发，使用 diffusion model 直接预测未来帧，视觉保真度有了质的提升，而这种提升直接反映在 Agent 的表现上。DIAMOND 基于约 87 小时 CS 游戏画面，在单块 GPU 上生成完全交互、可玩的神经网络游戏引擎，证明实时运行交互式 3D World Model 是可能的。

GAIA-2 (2025) 将 diffusion 方法推到了多摄像头自动驾驶模拟，能再现真实驾驶的全部复杂性。与此同时 Sora 和 Veo 3 将视频生成推到了极高质量并明确定位为「世界模拟器」，但需要厘清，它们还不完全是世界模型，你无法在其中采取动作并实时观察响应，交互性是分界线。

Wave 4（2025–至今）：「能在真实世界中行动吗？」

这是当前的前沿，就在此刻发生。在真实车辆、真实机器人、真实部署环境中，从世界模型中训练出来的 Agent 能否正常工作？

Comma.ai 走了最直接的路。他们完全在一个学习得来的世界模型内部训练驾驶策略，然后把它部署到他们的开源驾驶辅助系统上，跑在真人驾驶的量产车辆里。这个由世界模型训练出来的策略，表现优于传统模仿学习和在传统模拟器中训练的策略。这可以说是第一个由世界模型训练的 Agent 驱动的消费级产品。

在机器人领域，Meta 的 V-JEPA 2 让潜式预测哲学落了地，也是迄今为止最清晰的大规模证据。这是一个 1.2B 参数的模型，在超过一百万小时的视频上用自监督遮蔽预测做预训练，没有标签，没有文本。它仅用 62 小时机器人数据微调，在新环境中零样本部署到真实 Franka 机械臂上，完成抓取和放置任务。全程在 latent space 中规划，不生成像素。速度上的差异也很惊人，像素空间的方法规划一个动作要花分钟级别的时间，V-JEPA 2 在秒级就能完成。

Google DeepMind 的 SIMA 2 则走了一条完全不同的路，微调 Gemini 这个大基础模型，让它直接在 3D 游戏环境中充当 Agent，能在从未见过的环境中泛化。这代表了一种替代范式，与其从头构建专门的 World Model，不如利用一个在人类知识全域上训练过的大模型中已经隐含的世界知识。

Wave 4 的核心待解问题是，模拟环境能否足够忠实于现实，使得在其上的训练能够迁移到真实世界？答案越来越倾向于：能。

05 下次看到新的「世界模型」，

用这个框架判断

已经很清楚的是，大量资金正在涌入世界模型这个领域。World Labs 融资 10 亿 (估值 54 亿)，AMI Labs 融资 10.3 亿 (估值 35 亿)，General Intuition 种子轮 1.337 亿，Decart 融资 1 亿 (估值 31 亿)，Physical Intelligence 融资 6 亿 (估值 56 亿)，Wayve 融资 12 亿 (估值 86 亿)。Google DeepMind 不需要融资，正在向 SIMA、Genie 和 Veo 倾注资源，Demis Hassabis 已公开表示他相信世界模型将成为 Gemini 规划能力的重要组成部分。

更有趣的是，我们正处于技术发展的某个节点，我们知道有大事正在发生，但尚不清楚究竟哪种方法或哪种组合会胜出。下面是一个可以用来理解任何世界模型新闻的框架。

当前基础模型。包括前文所述的大语言模型、视频模型、3D 重建和生成模型。
世界模型。包括 Latent（潜式）与 Generative（生成式）。

Latent World Model 是 MuZero 的后代，放到了真实世界这样的开放环境中。LeCun 的 JEPA 不预测像素，在抽象压缩空间中做预测，刻意丢弃不可预测的视觉细节。他认为试图预测每个像素适得其反，模型会把能力浪费在本质上不可预测的视觉细节上。AMI Labs 是 LeCun 对这条路线的 10 亿美元赌注。

Latent 路线也有明显挑战：模型更难评估，无法直观判断输出；迭代速度更慢，人类擅长发现视觉异常但不擅长发现潜编码异常)；训练更难，缺乏强监督导致表征坍缩。

Generative World Model 是 General Intuition 主要聚焦的范式。它们生成人类可观察、可交互的未来。当视觉细节重要或下游任务尚不明确时，像素级细节往往带来更好的表现。

具身 Agent。

VLM是感知与推理的骨干。现代多模态自带一个叫 VLM (Vision-Language Model，视觉语言模型) 的能力层。VLM 能看也能读，给它一张图片和一个问题，比如「桌上有什么东西？」或「这扇门是开着还是关着的？」，它能给出连贯的、有依据的回答。GPT-5、Gemini、Claude 都是这个意义上的 VLM，你给它一张山的照片让它做地理定位，用的就是 VLM 能力。VLM 也是大多数为物理或交互环境设计的现代 Agent 系统的感知和推理骨干。VLM 本身还不算 Agent，但它是大多数 Agent 的核心组件。

VLA是更务实的路线。2023 年，Google DeepMind 发表了 RT-2: Vision-Language-Action Models，提出了一个直截了当的方案。取一个已经理解场景和任务的 VLM，接上一个动作头，把人类语言指令翻译成机器人理解的指令，比如改变位置或旋转。

此后 VLA 成为机器人领域的主流范式，效果出人意料地好。所有其他范式都在某种程度上认为，图像、视频、空间和动作与文字有本质区别，需要不同的模型架构。VLA 的回应是，也许没错，也许那些方案在柏拉图意义上更优。但这在实践中不重要，因为 VLM 的基础设施和数据领先太多了。

Standard Bots 的 Evan Beard 有一个辛辣的判断：「我们用语言模型基础设施做机器人，不是因为它是完美的机器人架构，而是因为我们作为一个物种，已经往大语言模型基础设施上砸了数万亿美元和无数工程师时间，复用这台机器的诱惑实在太大了。」

VLA 和世界模型并非真正在竞争，它们在从不同方向切入「在物理世界中行动」这个目标。VLA 以语言为先，世界模型以视频和动作为先。我的猜测是它们会收敛，并都成为解决方案的一部分。

DreamerV4 代表 Latent World Model Agent 路线。因为 Latent World Model 在压缩的抽象空间中运行，Agent 的规划和策略学习可以非常高效地完成，不需要生成任何像素。Agent 通过思考来练习，就像一个国际象棋大师在脑中推演变化而不移动棋子。Dreamer 在从游戏到连续控制到机器人的广泛任务上都取得了优异的结果，全部来自纯粹的想象训练。

这条路线的挑战，和 Latent World Model 的挑战一样。Agent 的行为只能和潜表征的质量一样好。如果 World Model 的抽象编码遗漏了某些因果上重要的东西，比如地面的纹理决定了机器人会不会打滑，或者物体的精确角度决定了它能不能被抓取，Agent 不会知道要在意这些，因为模型没有编码它们。垃圾进，垃圾出，但这里的垃圾是不可见的。

Google DeepMind 的 SIMA 2 将 Gemini 骨干与在 3D 游戏环境上训练的世界模型结合，让 Agent 既有语言理解来接收和推理目标，又有时空理解来执行目标。

这个范式与 VLA 的关键区别在于「公民身份」的方向。在 VLA 中，语言是一等公民，图像是二等公民，训练数据以静态图像和文本交错为主。在配备了世界模型的 Agent 中，视频是一等公民，动作从一开始就被引入，训练数据与我们要追求的下游行为直接对齐。Agent 的根本能力是时空性的，你告诉它需要做什么，它知道如何在世界中移动来完成。SIMA 2 能自己玩游戏，能学习、推理、进步。它玩得越多就越好，在它玩过的游戏中如此，在任何它被投入的游戏中都如此，即便是从未见过的生成世界。

General Intuition 也相信通用 Agent 将在具身系统中发挥核心作用。先创造梦境，让 Agent 在其中奔跑、犯错、学习、获胜，然后把学到的东西迁移到其他梦境，甚至迁移到真实世界。

回想《黑客帝国》。Neo 需要学功夫的时候，他插入了一个虚拟道场，在一个优于「真实世界」的训练环境中与 Morpheus 对练。练完之后？「I know Kung Fu。」世界模型就是那个虚拟道场，Neo 就是 Agent。

这是 Ha 和 Schmidhuber 八年前提出的问题：Agent 能在自己的梦里学习吗？在极短的时间内，这个领域已经有了答案：能。