报告主题:Orca:多模态表征世界模型的初步实现

报告日期:7月9日(周四) 10:30-11:30
报告要点:
具身智能的泛化瓶颈在于缺乏对物理世界的统一建模,现有方法分散于孤立的「下一词」「下一帧」或「下一动作」预测。智源Talk 363期邀请了智源研究院王艺皓与曹洺语、中科院自动化所冀昱衡线上分享,围绕通用世界基础模型Orca展开。提出了「下一状态预测」的统一建模范式,通过无意识与有意识互补学习习得世界潜在空间,验证了更强的世界表征可支撑更强的下游性能,为具身智能与世界模型的融合提供了新路径。欢迎大家一起讨论交流。

议题详情:

Orca是我们通向多模态表征世界模型(Multimodal Latent World Model)的一次早期探索,也是智源研究院在 Next State Prediction 范式的初步验证。Orca从多模态世界信号中学习世界表征,同时基于该表征能够建模向前和向后世界状态的演变。这就是Orca的核心哲学:The World is in Your Mind. 我们用大规模真实世界视频和事件标注数据,让模型同时学会客观观察世界、主观交互世界,学习世界表征。结果证明,该范式是可scaling的,且一个好的世界表征可以为下游任务带来增益。最后,我们讨论了当前存在的局限性,旨在为学术界提供有益的洞见与启发。

报告嘉宾:

曹洺语,现任智源具身智能多模态大模型中心研究员,毕业于中国科学院自动化研究所并获人工智能硕士学位。长期深耕于具身智能多模态大模型和世界模型领域,同时在 ICML、CoRL等人工智能顶级会议发表多项前沿研究成果。曾作为核心贡献者参与研发通用具身基础模型 RoboBrain、跨本体操作系统RoboOS,通用世界模型Orca并担任 RoboBrain 2.0、Orca Technical Report 第一作者。

冀昱衡,现为中国科学院自动化研究所博士生,研究方向聚焦于世界模型和具身智能。他曾作为第一作者主导研发 Orca 世界模型、RoboBrain 具身大脑模型系列、RoboOS 大小脑协同框架系列;其中一作 RoboBrain 入选 2025 EAI 十大突破成果、CVPR 官方研究趋势评论(仅 4/13008);谷歌学术 800+,项目累计 Star 数 4K+,模型和数据集 HF 下载量超 46 万次。

王艺皓,北京邮电大学博士,现为智源具身智能大模型研究员,长期聚焦世界模型和具身智能,曾多次获得国家奖学金。 他是VLA-Adapter和Orca的第一作者,VLA-Adapter Github Star全国位列第一梯队,全球前10;HuggingFace Daily paper 日榜第一,月榜第三。Orca 受到了十余位行内专家的认可。

电脑端观看地址


更多热门活动:

内容中包含的图片若涉及版权问题,请及时与我们联系删除