世界模型正处在两条路线的交汇处:一条以语言为枢纽,借助大语言模型的语义先验与推理能力统一感知、预测与规划;另一条以JEPA为代表,主张在潜在空间中直接预测,绕开像素重建与语言中介。二者指向一个根本问题:面向长时程、多尺度的真实任务,预测与规划应在何种抽象层级上进行,又以何种媒介承载目标与子目标?
JEPA-Anything探索跨不同"世界"学习通用预测模型,追问JEPA能否像基础模型一样泛化;VL-JEPA将视觉语言多模态学习与JEPA结合,让语言成为感知与推理的桥梁;H-JEPA提出端到端层级化动作条件JEPA,每层在各自潜在空间中预测更远的未来,规划自顶向下,顶层优化目标进展,各层预测成为下层子目标,使高层丢弃快速不可预测的细节、保留缓慢的任务相关状态。
当分层遇上语言,JEPA与大模型路线的交锋便成为关于「如何理解并改造世界」的实质性对话。本场报告汇集上述工作与研究者,探讨JEPA世界模型在跨域泛化、多模态推理与长时程规划中的最新进展与开放问题。
H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning https://arxiv.org/abs/2610.06805v1
JEPA-Anything: Learning Predictive Models across Different Worlds https://arxiv.org/abs/2609.20800v1

VL-JEPA: Joint Embedding Predictive Architecture for Vision-language https://arxiv.org/abs/2512.10942v1


分享嘉宾:

聂耳聪,上海交通大学外国语学院长聘教轨助理教授,研究方向为自然语言处理和语言科学智能,聚焦语言科学与人工智能的双向赋能,尤其关注多语智能、大语言模型可解释性、脑—模型语言认知对齐等领域。

陈德龙,香港科技大学博士生,师从 Pascale Fung 教授,香港科技大学博士四年级学生,于2024-2026年访问 Meta Fundamental AI Research (FAIR)。研究兴趣包括视觉语言多模态学习和面向推理与规划的JEPA世界模型。代表性工作包括 Vision Language World Model (VLWM),Vision-language JEPA (VL-JEPA) 等。谷歌学术引用15000次。个人主页:https://chendelong.world/

崔涛镛,香港中文大学计算机系&MMLab博士生,曾在微软研究院和上海人工智能实验室开展研究。研究聚焦AI for Science、物理世界建模与递归自我改进,以第一作者或共同第一作者在Nature Machine Intelligence、Nature Communications等期刊上发表论文多篇,获世界人工智能大会青年优秀论文奖、中国人工智能学会潜力清源学者等奖项,作为第一作者与团队共同发布JEPA-Anything和RSI-Anything,探索世界模型与智能体的协同改进,参与Gen-Verse开源社区建设。

翁书晨,智源研究院时空大模型负责人,博士毕业于北京大学,现任北京大学/中科院博士企业导师。研究方向为视频生成与多模态大模型,目前已发表学术论文 30 余篇(含TPAMI/IJCV 7 篇,CVPR/ECCV/ICCV 等顶会 30 余篇)。曾入选华为“天才少年”、阿里淘天 T-star 等顶尖人才计划。代表工作InstructAV2AV, PanoWan等。

点上方预约,开播有提醒

内容中包含的图片若涉及版权问题,请及时与我们联系删除