6月13日,智源大会“世界模型论坛”在海慧厅A举行。现场人头攒动,座无虚席。


论坛围绕人工智能领域的核心命题展开:当AI的应用边界从语言、图像和视频等数字任务走向开放环境中的持续感知、长期交互、自主决策和物理执行,什么样的模型能够表征世界、预测世界演化,并帮助智能体在真实世界中行动?从大语言模型的next token prediction,到多模态模型的统一理解与生成,再到面向物理世界的next state prediction、next physical state prediction,世界模型被视为大模型从数字世界迈向物理世界的重要阶段。


本场论坛由智源研究院于智薇主持,全天的讨论分为上午、下午两场。上午场聚焦世界模型的建模方式、状态表征、交互模拟、物理因果与智能体决策;下午场进一步讨论世界模型如何进入具身智能、自动驾驶、机器人控制、3D空间生成和真实系统。智源研究院院长王仲远在开场中回顾了世界模型从心智模型、强化学习到当代多模态基座模型的发展脉络,并介绍智源对下一代世界基座模型的判断:未来模型应具备全模态感知、下一个物理状态预测、主动交互学习、物理正确性、动作因果可溯与长程一致性。论坛邀请了来自国内外顶尖高校、研究机构、创业公司和大厂的十余位嘉宾分享研究与产业实践,并在两场圆桌中讨论了世界模型的定义、范式、评测、泛化、落地与创业方向。

编辑:宇轩 梦佳

陈德龙:世界模型应服务于行动规划

陈德龙以“World model should help action planning”为主题,强调世界模型的价值应放在智能体行动规划中理解。一个智能体接收环境观测和目标描述后,需要生成动作序列,使环境状态尽可能接近目标状态。行为克隆依赖高质量专家轨迹,model-free 强化学习适合高频交互且奖励容易获得的场景;而当环境复杂多样、专家轨迹稀缺、仿真成本高且难以覆盖真实分布时,model-based planning 与世界模型的价值才真正显现。真实物理世界和具身智能正处在这种条件下。

在他看来,世界模型帮助规划包括两步:训练一个能根据当前状态和候选动作预测下一状态的模型,再在测试阶段进行 plan search智能体将目标解释为状态表示,提出多条动作路径,用世界模型推演后果,并选择最接近目标的方案。因此,关键不是在观测空间中直接预测像素,而是把观测映射到世界状态,并在状态空间中做预测。因为人类目标本质上是希望达到某种状态,而不是获得某个观测画面。

围绕状态表示,陈德龙指出,auto-编码器或 VAE 虽然能重构观测,却会保留大量任务无关信息;自监督视觉模型也未必保证只保留任务相关状态变量;预测式表示学习又要避免表示塌缩。他提出的路径是用自然语言引导状态估计。语言具有语义性、抽象性和可解释性,可以帮助模型丢弃冗余视觉细节,并使研究者理解状态表示中包含什么。

他介绍的 VLWM 从视频中学习以自然语言描述动作和状态,输入当前观测与目标后,将目标解释为目标状态,再交错生成动作-状态序列。模型既可作为反应式策略,也可结合 critic 度量当前状态与目标状态之间的距离,用于 system-式规划搜索。后续 VL-JEPA 则将生成式 VLM pipeline 蒸馏为高效 embedding 模型,通过一次 forward pass 获得语义表示,分别学习动作 embedding 和状态 embedding,用于动作追踪、状态追踪和世界状态预测。

陈德龙特别强调真实世界中的多主体、干扰因素和任务无关信息。单一非自适应编码器在复杂环境中容易退化,而语言 query 可以指导模型只关注特定 agent 或对象,使同一观测在不同 query 下产生不同状态 embedding,从而训练更鲁棒的世界模型。对于安全和可靠性,他认为不能让 agent 直接把目标转化为动作并执行,而应通过 test-time plan search 推演动作后果,发现违反约束或导致坏结果的方案就不执行。

刘扬:可交互世界模型要从生成画面走向联合理解

刘扬从 Skywork Matrix-Game 系列出发,讨论生成式可交互世界模型的发展。他的团队自2024年下半年开始探索该方向,先后发布 Matrix-Game 1.02.03.0,并计划推出3.5版本。其目标不是让世界模型停留在概念展示,而是使其具备实时交互、长期记忆、可部署推理和面向真实场景的扩展能力。

刘扬将世界模型概括为:理解当前状态、历史状态和长期历史信息,理解动作以及动作与环境的交互关系,并预测下一个状态。这条技术路线的难点在于视觉信息无法完整捕捉真实世界状态。360度视觉也未必能反推出接触、粘连、温度等物理信息,杯子能否拿起、墙能否穿过、水是冷是热,都不是单靠 2D 或 3D 视觉就能充分表示。因此,世界模型不仅要生成下一帧画面,还要联合理解状态和动作。

他提出理解与生成一体化的趋势。过去通用世界模型常被理解为给定状态和动作生成下一个状态,但团队发现,把下一状态的预测生成与动作生成进行联合训练,会显著提升模型对状态和动作的理解。如果目标是交互模拟器,可以生成状态;如果目标是构建机器人大脑,也可以 mask 掉状态、生成动作。未来世界模型更可能走向多模态联合理解与联合生成。

Matrix-Game 从游戏切入,因为游戏天然符合输入状态输入动作输出下一帧的世界模型范式,且游戏引擎可相对可控地产生动作、状态和场景数据。刘扬将可交互世界模型描述为一种面对模型而不是面对游戏引擎的游戏:用户提供第一帧画面,再通过键盘、鼠标、语音或文本操作,模型实时生成后续世界。Matrix-Game 3.0 实现了 720P40fps 实时推理,并加入一分钟记忆;3.5版本则进一步从游戏场景泛化到真实场景,支持真实世界与游戏世界之间的语义转场、动态物体和复杂场景变化。

在刘扬看来,简单采集大量游戏视频并不够,因为动作信号稀疏且反写不确定,同样画面变化可能来自鼠标、键盘或二者组合。模型不仅要学动作表征,还要理解动作执行后的物理后果。团队因此建立三条数据管线:在引擎中搭建场景并部署 agent 自由探索,自动化游戏搭建、探索、录制和标注,以及开放平台收集并标注游戏数据。目前已积累约500万个高质量视频切片、1万多小时有效训练数据和1200多个训练场景

在模型上,Matrix-Game 3.5不再通过额外的注意力层注入控制信号,而是在内部机制中替代位置编码,对 KQ和 score 显式编码相机信息,以保持视频基座能力并增强指令遵循。记忆机制也从整帧检索转向 patch 级记忆:将历史帧切成带 3D 坐标的 patch,推理时检索相关 patch 并重组成 mosaic,提升空间信息利用、跨帧一致性和相机轨迹一致性。刘扬还介绍了 NPC 交互、三阶段蒸馏和触觉反馈等方向,强调未来关键在于反馈信号和环境。

陈博远:真实物理世界需要动作因果基座模型

陈博远从真实物理世界需要什么样的基座模型出发,提出世界模型不能停留在语言世界或像素世界,而应理解物理世界的演绎与变化。语言模型通过预测下一个词学习语言描述的世界,多模态模型扩展到像素空间;但当 AI 进入真实物理世界,面对的是不确定、连续、部分可观测的系统,许多关键约束并不直接呈现在画面中。如何在不可见物理约束下决策,是世界模型必须回答的问题。

他概括了真实物理世界的四个特点。第一,真实世界始终是部分观测,RGBframe 或视频只是观测,背后还有几何、材料、约束、受力等隐藏变量。第二,物理事件存在于稀疏和长尾分布中,海量视频中真正包含物理交互、突变、碰撞、破碎、爆炸等关键事件的片段很少。第三,物理来自因果,而因果来自动作干预。人理解水会洒、杯子会被拿起或碰倒,不是只靠观察,而是通过动作导致的状态转移来学习。第四,对物理而言,验证往往比生成更容易。碰撞是否发生、接触是否连续、物体是否保持持久性,可能比生成一个看起来正确的视频更容易判定。

因此,世界模型首先要重新理解状态压缩。视频天然高维冗余,大量像素块对物理学习没有意义。好的物理状态建模不应只是重构视觉边缘和轮廓,而要保留预测未来动力学所需的信息,包括物体运动、材料转变和物态变化。动作同样关键:没有动作,模型往往只能学习不确定的平均状态;有动作后,action-conditioned world model 才能建模不同动作带来的不同物理后果。

陈博远将世界模型的发展类比自动驾驶 L0 到 L5 分级。视频基础模型可生成逼真视频和 3D 资产,适用于影视、美术和空间计算;可交互模型能响应动作,解决游戏交互和实时互动;更高级的真实物理世界模型则应面向工业安全验证、策略评估、精准控制、科学模拟和严肃仿真。真正的世界模型泛化,不应只是单一场景泛化,而应跨场景、跨本体,将通用物理规律迁移到具身智能、自动驾驶、游戏内容、工业仿真等领域。

他介绍了 Physis 世界模型的探索。Physis 的核心思路包括:在压缩层关注动态性和结构性,而非单纯重构高频像素;在训练中引入当前潜在状态 S0 和动作导致下一状态转移的因果结构;面对潜空间不可监督、不可验证的问题,通过解码到不同应用场景并引入强化学习闭环,用可验证沙盒反哺模型优化;通过不同解码器适配视频生成、物理状态量预测和 motion translation 等应用。

陈博远强调,真实物理世界的基本交互原子不是 prompttoken 或 instruction,而是 action。当前许多视频基础模型和世界动作模型在气球爆炸、刚柔体行为、抓取、毛巾与袋子的融合等场景中仍会出现物理幻觉。未来模型不仅要 follow action,还要理解动作真实物理后果。对于具身策略评估,世界模型应在真机试错和传统仿真之间搭建桥梁,对失败抓取、边界动作、液体扩散和多主体协作给出更真实反馈。

高深远:具身智能需要世界模型支撑安全试错

高深远以真实世界中的通用机器人系统为目标,讨论生成式世界模型如何用于具身决策。他指出,当前具身智能有两类进展:一是 diffusion policyVLA 等模型随着数据规模提升学习新技能;二是数据金字塔正在形成,从高质量 teleoperation 数据扩展到高多样性的人类第一视角视频数据。但如果系统只依赖行为克隆,可能难以达到人类水平。人类学习不仅模仿他人,也会基于对世界的理解主动试错,探索新工具、新技能和反事实后果。

语言模型做 search 相对自然,因为搜索发生在文本空间,代价低且不会产生灾难性后果;机器人在真实世界中试错则代价高昂,可能打碎物体、损坏设备,甚至产生安全风险。因此,physical AI 需要一种能够在真实执行前模拟动作后果的系统,这正是世界模型的价值。世界模型可以作为真实世界的替代环境,提供更安全、可扩展的 action consequence,用于数据生成、策略评估、model-based planning 和强化学习。它还可缓解真实世界难以 reset 到完全相同状态的问题,使不同策略在同一初始状态下公平比较。

高深远设想未来机器人系统采用分层世界模型框架。高层接收整理房间这样的宽泛任务,拆解为具体子任务,并用高层想象和搜索确定当前步骤;低层对具体动作做进一步搜索和优化,最终收敛到可执行动作。这样的系统能在新场景、新任务中提高规划链路的鲁棒性。

他介绍的 DreamZero 从视频模型出发,构建一个统一 policy,使其既预测未来状态,也预测动作,把 world model 和 inverse dynamics model 合并到一个模型中。传统 VLA 和 LLM 式规划以语言为核心模态,语言紧致、抽象,但与低层动作之间存在歧义;视频模型则可把指令转化为可视化计划,具体展示任务怎么做DreamZero 尽量少改动 video backbone,只加入 action 编码器action 解码器和 state 编码器,并在推理时利用 KV cache 加速。由于 policy 闭环执行,系统可持续接收真实世界观测并更新 KV cache,降低长程漂移。

第二项工作 DreamDojo 面向 low-level action-conditioned world model。机器人世界模型比自动驾驶更难,因为机器人动作空间高维、涉及大量接触,且不同本体数据不统一。团队收集了43827小时人类第一视角数据,以提升技能和场景多样性。DreamDojo 采用三阶段训练:先用 human video pretraining 提升泛化能力,再用 robot post-training 适配具体本体,最后用 auto-regressive distillation 提升效率和交互性。

由于人类视频缺少动作标注,团队使用 latent action 方案:训练 VAE 形成瓶颈,迫使模型学到动作信息,再用它为人类视频打上 latent action 标签。适配具体机器人时,只需将第一层 MLP 重置为目标 action space 维度并做高效适配。为提升实时性,团队将双向 teacher 模型蒸馏为 causal student,并让模型在训练中 condition on 自己的输出作为历史上下文。高深远的最终愿景是形成 autonomous large-scale self-improvement loopagent 提出任务和动作 proposalworld model 模拟后果,agent 再基于新状态继续提出下一步,从而降低真实世界执行成本。

朱政:世界模型将成为物理AGI的数据引擎与策略环境

朱政以世界模型具身基础模型为关键词,讨论物理 AGI 的技术路线。他认为,数字 AGI 已在代码等领域释放巨大生产力,而物理 AGI 有望让机器人产生10倍乃至100倍的物理生产力。未来机器人可能通过某种物理图灵测试:在一个房间里,如果不直接观察,难以判断任务由机器人还是真人完成。经过这一阶段后,物理世界可能迎来类似 Claude Code 的时刻,机器人生产力被成倍扩展,并最终走向机器人自主设计、优化和制造自身的自进化。

极佳视界将自身定义为物理 AGI 基础模型公司,既做基础模型,也做原生本体和泛化场景探索。算法层面包括 GigaBrain 和 GigaWorld 系列,本体层面包括轮式双臂和双足机器人,场景覆盖工业、商业、家庭,以及自动驾驶和内容方向。今年,朱政牵头建设通用世界模型北京市重点实验室,期望从具身智能、自动驾驶、内容创作等垂类世界模型逐步走向通用世界模型。

在具身基础模型方面,团队曾发布 GigaBrain0,使用真机公开数据、自采数据和 egocentric 数据。随后他们发现,仅沿着 VLA 数据和架构做 scale up 存在两大问题:VLA 继承自 VLM,对物理智能缺少先验;动作对齐效率低,即使预训练数据从1万小时增长到10万小时甚至更多,后训练仍需要大量动作对齐数据。世界模型的引入,正是为了提升这种效率。

朱政将世界模型在具身中的作用概括为三类。第一是数据引擎,可以低成本、高保真生成训练数据;第二是策略环境,即仿真器,可与 policy 进行状态反馈和交互;第三是策略生成器,不仅输出未来动作,还能输出未来状态甚至奖励,使模型像人一样持续学习和自我进步。团队发布的 GigaWorld0 主要作为数据生成器,支持视频生成、纹理泛化、视频编辑、视角泛化和跨本体生成;GigaWorld1 则希望成为生成式具身仿真环境,服务闭环仿真与强化学习。

在用世界模型替代 VLA 方面,朱政介绍了一个闭环:预训练数据包括遥操、无本体、仿真和互联网数据;离线训练 VLA 或 WA 模型;模型执行任务,失败时人工干预形成数据闭环;数据送回世界模型或价值模型,对未来隐空间和值进行预测,再统一送给 VLA 或 WA经过23次迭代,典型任务成功率可接近百分之百,多任务接近80%在叠衣服、冲咖啡、折纸箱、手机包装入盒等任务中,模型已展示出较强连续工作能力。

朱政还强调强化学习的重要性。只做模仿学习或有监督学习不够,物理 AGI 最终需要通过强化学习解锁预训练能力。过去强化学习主要依赖仿真器或真机试错,世界模型则提供仿真的强化这一新选择。自动驾驶方面,团队曾推出 Drive Dreamer,用于生成不同驾驶背景、天气、时间和未来动作,并探索在生成+重建的闭环模拟器中引入强化学习,以减少变道、启动和刹车中的碰撞。朱政总结,通用机器人正在从本体主导转向智能主导,本体+模型会形成未来通用终端。

沈宇军:区分视频生成、数字世界模型与物理世界模型

沈宇军从蚂蚁灵波的实践出发,指出公司本质上是为机器人做“通用大脑。机器人生活在物理世界,首先要从传感器获得原始信号,因此空间感知是第一层;机器人最终要干活,因此动作与环境交互是第二层;世界模型则要回答它能否为机器人提供训练场、仿真和评测。

他首先澄清概念:世界模型应是在某个状态下接收 action 并预测下一个状态的模型,而不是简单的视频生成。视频生成可以让模型慢慢计算出一段视频,世界模型则往往必须实时接收动作并反馈,因此可控性和实时性是关键差别。世界模型还必须关注合理性、记忆性和持续建模。对于视频生成,猪在天上飞可以是想象力;但若放到物理世界,这种想象力会成为机器人行动的危险幻觉。

沈宇军认为,数字世界模型与机器人结合至少要经历两个阶段。第一,能否成为机器人策略的可靠评测体系。如果把 VLA 或其他 policy 接入世界模型,在系统中得到的成功率反馈是否与真实机器人部署一致,这是路线成立的前提。第二,如果世界模型能评测 policy,它能否反向给 policy 提供 feedback,推动 policy 进化。

他进一步区分数字世界模型和物理世界模型。当前许多数字世界模型的交互本质是在做导航,即响应视角移动和场景漫游,但很少能生成拿起杯子、捏瘪物体等涉及操作和接触的行为。机器人在物理空间中不只是移动,还要操作。如果世界模型只能做移动而不能做操作,就无法与具身任务真正咬合。

对于物理世界模型是否需要真正理解物理,沈宇军给出务实判断:机器人未必需要理解牛顿三定律,也不必精确理解加速度。就像没有受过物理教育的人也能行动,因为他知道悬空物体会掉落,至于掉得多快可以通过眼睛看到。机器人执行时摄像头仍在工作,真实反馈不断进入系统。因此,物理世界模型不必把未来视频预测得特别高清或每个 pixel 完美,应把算力用在真正影响决策的能力上。

他也提醒,VLA 不会因世界模型火热而失去价值。VLA 推动行业理解什么样的数据采集是好的,也更容易部署到端侧芯片,并具备更强的语言、视觉和动作细粒度对齐能力。世界模型的优势则在动态建模,例如循环状态、重复动作和时间结构。沈宇军认为,VLA 和世界模型各有价值,未来需要原生为物理世界设计的模型,而不是简单把数字世界模型当作具身 Agent 的下游。“具身原生”也将是灵波下一轮技术迭代的重点方向。

王昊:事件驱动是具身世界模型的时间尺度

王昊以事件驱动的世界模型为主题,讨论具身模型中容易被忽视的时间尺度问题。他认为,从外部看,VLA、世界模型、真实数据和仿真数据像是不同路线,但真正隐性的前提,是大家往往默认机器人以均匀节奏被控制、以固定 chunk 生成动作。这个假设可能是阻碍 scaling 的关键。

他从语言和视觉模型历史谈起,将其称为 Unit Problem。语言建模早期从字符级开始,模型需要学习词如何由字符组成,语义效率不高;词级又太粗。 BPE 等子词方法找到中间尺度,通过数据统计决定何时合并单元。视觉也类似,ViT 中的 patch 是在像素和语义之间找到合适尺度。王昊强调,智能涌现必须发生在恰当尺度上。如果没有合适结构尺度,单靠堆数据和算力不一定能 scaling

在具身领域,他提出“Time Unit 时间单元税。许多世界模型方法在时间维度上丢失信息,导致无法真正建模时间。基于像素视频生成的模型默认每帧同等重要,长时间生成时容易时空漂移,因为大量像素与决策无关却被同等建模;latent space 方法难以跨模态组合,无法与人类语言对齐;Joint WAM 虽然联合视觉和动作去噪,但常默认固定 chunk size,由相机、传感器或人为设定的外部时钟决定预测长度。

王昊提出,具身领域最小时间单元也许不是固定帧数或固定 chunk,而是事件(Event固定 chunk 会带来时序歧义:同一动作有人10秒完成,有人3分钟完成,模型会误以为是不同任务;也会带来语言、视觉和动作语义不匹配,比如把水瓶从桌上拿起来持续5秒,但每0.5秒 chunk 都无法与完整指令准确对齐。

事件天然存在于语言、视觉和动作中。人描述任务时按自然事件划分,而不是按秒数划分;视觉上,刀即将接触苹果的边界阶段条件熵很高,稍有偏差就会改变未来状态,因此更值得模型注意;动作也天然对视觉和语言指令作反馈。因此,事件尺度可以同时对齐语言、动作和视觉。

王昊介绍的 WALL-WM 以多视角输入和当前指令为条件,联合建模视觉和动作,但核心是变长预测:复杂任务或动作耗时更长,简单任务耗时更短,符合真实世界。事件模式也为具身推理提供协议,使系统不仅知道要做什么,还知道每个事件大概要持续多久,并以语言形式规划和反馈,从而把语言智能迁移到其他模态。王昊最后提出“Language Prior + VA Native Residual”路径:尽可能利用语言先验,同时在视觉-动作模态中建模语言无法描述的细粒度物理状态和接触细节。

郭春超:3D世界模型要兼容引擎和空间智能

郭春超从腾讯混元 3D 与世界模型研发出发,讨论 3D 如何建模以及带来什么能力。混元团队覆盖 LLM、图像、3D、视频、语音等多模态,3D 方向沿两条线推进:一是 3D 物体生成,自2024年起持续发布多个版本;二是自2025年开始发布 3D 世界模型,包括混元 World 系列。

他解释3资产是连接人与计算机的载体,也是 DCC软件、游戏、汽车、工业模具等场景的基础元素。传统 3D 建模专业性强、成本高,AI 3D 模型可以降低门槛、提升效率。更重要的是,3D 管线不同于图像和视频的所见即所得,它天生服务交互,因此需要生成、编辑、重建、渲染和资产管理等多个环节。混元希望用 AI 重塑 3D 创作流程。

从 3D 资产到 3D 世界模型,是一条自然路径:先生成单体 3D 资产,再构建场景,最后让场景与主体交互,使世界随主体行为演变。郭春超将世界定义为可交互的三维场景,既包括虚拟 3D 场景模拟,也包括真实 3D 场景模拟。与下午场其他报告更关注具身不同,混元团队的重点在互动娱乐、互联网社交、游戏管线和 3D 资产生产。

混元 World 1.0 从一开始就支持导出 3D Mesh 场景资源。郭春超解释,纯视频世界模型也许更容易做出原型,但若想进入游戏生产流程或工业仿真平台,就必须兼容引擎和图形管线。因此,团队选择更难但更接近商用的路径,支持 3D Mesh 资产生成。1.0采用前景、中景、远景分离式生成,前景是显式 3D 资产,可编辑、可修改并兼容 CG 工作流。

混元 World 1.5 侧重高分辨率实时视频视觉生成,利用 3D prior3D constraint 和 3D condition 约束,通过 UE 渲染 3D 资产,实现24fps720p和约1秒延迟。视频路线优势在于训练和推理一致,视觉效果较好,也能快速生成动态场景,因此更容易流行。其技术流程包括自回归预训练、交互和 memory 机制、基于 2D/3D 奖励模型的在线强化学习,以及面向实时体验的上下文蒸馏。

混元 World 2.0 继续瞄准兼容引擎和仿真引擎的 3D 世界模型,支持几何白模、文本、图片、视频输入,输出图片、视频、3D Mesh3D GS 场景等。构建流程包括全景图生成、导航模块、World Style 新视角补齐和重建模型。春超强调,世界模型不能只看视觉质量,还应能构建世界、模拟世界并为决策提供可能性。视频世界模型缺少物理标注,纯 3D 训练又受限于数据稀缺,因此生成与重建需要相互辅助。未来空间智能和语言智能不应割裂,LLM-centric 范式与多模态空间模型融合,将是 3D 世界模型的重要方向。

孙振国:世界模型应进入动作生成闭环

孙振国介绍星源智和智源具身交互世界模型实验室的新工作 ω-EVA,试图回答一个朴素问题:机器人在真正行动前,能否先看看自己准备做什么,并根据预演结果修正动作?在他看来,交互可能是具身世界模型最核心的接口。

ω-EVA 不直接把 policy 生成的动作作为最终答案,而是将其视为动作草稿。世界模型在 latent space 中预演:如果执行这个动作,世界会发生什么?随后 refiner 根据预演结果修正并输出动作。这样,世界模型不再只是训练过程中的辅助任务,也不是外置 simulator,而成为 action generation loop 中的反馈模块。实验显示,在三个仿真 benchmark 上,反馈后的模型性能均有提升。ω-EVA 整体较轻量,约1.2B参数,且没有额外机器人数据预训练。

孙振国用例子说明交互式建模的必要性:Stage2 policy 可以根据观测和语言指令提出动作 proposal,但如果该动作会把饮料瓶推倒,任务就失败;Stage3 则基于世界模型对动作后果的预演进行 refinement,使任务成功。许多 VLA 和生成式策略擅长回答我要做什么,但不显式回答如果我真的这样做会发生什么。在接触或视觉不确定任务中,这一差别很关键。抓取方向偏几厘米,杯子可能被推倒;夹角错误,机械手可能错过接触点。人类行动通常会先产生意图,再快速预演结果,必要时修正。

他将世界模型参与策略的路线分为三类:生成未来用于学习或蒸馏;通过 latent prediction 塑造更懂 dynamics 的表示;作为 rolloutsimulator 或 data engine 提供可控环境。孙振国认为这些路线都有价值,但缺少一个接口:policy 把自己生成的动作交给世界模型,世界模型返回 latent consequence;如果在同一次决策闭环中把结果反馈给 action generator,就可以形成闭环 refinement。他将其称为 Interactive Action Feedback

ω-EVA 流程包括三步:先生成动作草稿,再预演草稿后果,最后根据后果修改草稿。训练也分三阶段:Stage1 训练 action-conditioned world model,根据当前 state 和 action 预测下一个 state,并输出更具 dynamics 的 current representationStage2 用 dynamics 表征和语言指令训练 state policy,生成高质量 proposalStage3 冻结前两阶段,把 Stage2 生成的 action 重新输入 Stage1,得到 future latent,再与 current latent 和原始 proposal 一起输入 refiner,生成改进动作。

推理过程不需要真实 future solution,也不需要生成未来视频,只是在单次控制决策中加入轻量 latent 反馈。消融实验显示,future feedback 和 proposal anchor 都不可缺少。孙振国提出未来方向包括 chunk 级闭环、多轮 imagination 与 response 平衡、多模态建模、pre-training 与 scaling,以及自进化。其核心判断是:世界模型应参与动作生成,其价值不只在预测未来、辅助训练或生成数据,而在让 policy 行动前看到 proposal 后果并修正动作;具身模型应从预测世界走向持续交互、自我校准和自我进化。

圆桌 1:世界模型的共识、分歧与下一步

如何定义世界模型?

陈德龙认为,世界模型从当前物理状态出发,接受条件动作作为输入,预测下一个物理状态;好的世界模型应能帮助智能体推理与规划。高深远认同这一定义,并补充监督信号可以是物理表征,也可以是视频,视频是最可扩展的数据来源。刘扬认为,世界模型是对当前或历史状态、当前动作的理解,并基于这种理解预测未来,好的模型应具备长期记忆、物理规律一致性和广义指令遵循能力。陈博远强调,世界模型应真实反映动作产生的物理后果,并具备真实世界泛化、记忆、抽象推理、动作跟随的能力国际嘉宾则给出更广义的定义:只要模型能帮助做觉得和规划,就可以被视为世界模型。

高保真生成、状态表征和闭环规划会统一吗?

陈德龙认为,不同状态表征需要融合,但应形成层次化世界模型,底层保留像素或低层状态,上层逐渐抽象到任务相关世界状态。刘扬认为统一是方向,但数据、网络结构、统一编码器和 tokenizer 仍有挑战。陈博远认为,底层应先学到统一的物理动力学,应用层通过不同解码器适配视频生成、物理控制量或 motion translation。高深远认为统一并不冲突,但是否需要在具体任务中统一取决于目标和数据条件。国际嘉宾则认为,不一定存在一个什么都能做的模型;用于规划的模型应更抽象、更低维,用于照片级生成或精确仿真的模型则可更复杂。

为什么世界模型仍处早期?

刘扬认为,世界模型还未完成基础数据 scaling 验证,具身、开放世界和游戏中的交互数据能否扩展到百万小时并持续提升,尚缺系统验证。高深远指出,世界模型必须处理 action 这一关键模态,而 action 稀缺、粒度和准确性都未解决,且缺少公平 benchmark。陈德龙认为,语言是高语义、低噪声表征,而世界模型要从高维、连续、带噪观测中同时学习编码器和 predictor,本质更难;工程上视频数据存储、训练基础设施和评测成本也更高。陈博远补充,世界模型还没有找到类似 next-token prediction 那样稳定、可扩展的 foundation model 范式。

视觉会是核心模态吗?

陈博远认为,视觉初期很重要,但未来会向带 action label 或真实动作反馈的数据,以及触觉、力觉、听觉等更全模态发展。刘扬认为,短期内视觉及深度、3D 等扩展形态仍是核心,但动作信息和显式物理信息必须补上。陈德龙指出,应从世界状态感知角度看模态选择:若某些信息可从视频可靠推断,额外传感器贡献有限;但温度、隔墙等视觉不可见状态需要其他传感器。高深远认为,视频是继语言之后第二个最容易 scale 的模态,其他模态应向视频对齐。国际嘉宾则强调,触觉等非视觉模态对 low-level control 非常重要,若要构建更强机器人,应系统纳入世界模型。

圆桌 2:世界模型如何走出实验室

世界模型在真实系统中扮演什么角色?

郭春超认为,从工业生产或游戏管线看,世界模型仍处早期,更多用于原型验证和制造训练数据。朱政认为,现阶段世界模型的生产效率和部署成熟度不如 VLA,但优势在跨场景和多任务泛化,更适合家庭等开放场景。沈宇军认为,VLA 和世界模型都会投产,但都不会是终局,未来可能产生物理世界独特的原生模型。王昊认为,世界模型代表模型内化世界理解的能力,VLA 和世界模型正向同一方向融合,关键是能否在真实长程任务中体现优势。孙振国认为,VLA 更像开环系统,世界模型提供闭环决策可能,真正上限在于把未来预测引入控制闭环。

长尾风险和安全问题能解决吗?

孙振国认为,长尾问题反而是世界模型优势,因为成功和失败数据都能用于未来预测。朱政指出,自动驾驶有海量路侧数据可挖掘 corner case,具身智能缺少类似基础数据,但可在受控实验室或工厂采集失败案例。沈宇军认为,日常机器人容错率高但通用性要求更高,失败数据采不完,未来应让机器人部署后持续学习。王昊认为,靠数据驱动覆盖具身 corner case 并不现实,更重要的是建立持续学习能力。郭春超认为,专业化风险场景离不开决策,LLM-centric 模型可能更适合解决液体会洒等可泛化规律。

真正泛化的最大瓶颈是什么?

朱政认为,最大 gap 是强化学习重视不足,跨场景、跨任务和家庭场景泛化都离不开强化学习。沈宇军认为,短期瓶颈是数据质量、分布、标注和组织方式,长期则是持续学习和快速学习能力。孙振国认为,泛化本身不应是终极目标,更重要的是以小代价在新场景中快速达到所需能力。王昊认为,挑战在于认知尚未对齐,需要弄清现阶段数据量能让机器人做到什么程度,以及如何把语言先验迁移到视觉和动作模态。郭春超认为,泛化本质是学习机制问题,语言智能与多模态空间智能融合可能是重要路径。

五年后回看,哪些共识可能是错的?

孙振国认为,基于 video generation 或 language condition 的主流范式可能会被证明瓶颈明显,他更相信 action-conditioned world model。郭春超认为,纯基于当前10秒、15秒视频生成模型再 post-train 世界模型,距离真正智能很远。王昊认为,试图用互联网数据或纯 ego 数据训练具身世界模型是危险共识,因为具身核心是交互,尤其是接触导致的物理状态突变。沈宇军认为,把世界模型停留在数据生产工具上可能是错误的,若生成模型足够强,它不应只是另一个模型的数据提供方。朱政认为,数据大跃进可能不成立,未来强世界模型更可能依赖几百万小时高质量数据和更高数据利用效率,而不是几亿小时粗放数据。

给创业者的一句话

朱政提醒,现在入局世界模型未必明智,因为资金和人才已向头部聚集。沈宇军建议,不要被技术路线裹挟,创业者必须有自己的主张并敢于赌一件事。王昊认为,模型结构和训练形式不是根本,重要的是表征,未来视频预测未必必要。郭春超建议,中小创业者要找到需求和商业路径,让技术进入正循环。孙振国则强调,要服从内心的激情,围绕核心方向投入,不要把精力分散到太多事情上。

大会回放 https://2026.baai.ac.cn

内容中包含的图片若涉及版权问题,请及时与我们联系删除