报告主题:强域随机化双臂操作数据生成器与评测基准集

报告日期:07月17日(本周四) 10:30-11:30

报告要点:
双臂机器人在协同装配、工具使用和物体交接等复杂场景中具有重要作用,但要训练出通用的 VLA 等操作策略,现有数据收集和仿真管线面临多重瓶颈。一方面,真实示教数据规模化获取成本高、耗时长,难以覆盖足够多的任务、物体形态与硬件差异;另一方面,现有仿真缺乏针对新任务的高效、可扩展的专家数据生成方法;同时其域随机化设计过于表层,无法模拟真实环境中复杂性;更未考虑不同双臂平台在运动学与抓取策略上的行为差异,导致数据合成方案难以在新环境或新硬件上泛化。

因此我们提出了 RoboTwin 2.0,提供基于多模态大模型与仿真在环的自动化专家代码合成方案,开源了含 731 个,147 类带丰富标注物体的 RoboTwin 物体数据集(RoboTwin-OD),并基于两者构建了支持 5 款本体与 50 个任务的大规模域随机化仿真双臂操作数据合成器与评测基准集。实验结果表明 RoboTwin 2.0 的域随机化数据可以极大地增强模型面对未见环境的鲁棒性。我们开源了代码、预采集的操作数据以及用户友好的文档。
报告嘉宾:
陈天行,TianxingChen.github.io,2025 级香港大学 MMLab 博士生,师从罗平教授。在学术顶会以一作 / 共一发表多篇论文,获得 ECCV 协同具身智能研讨会 Best Paper,CVPR Highlight 等。获得 CCF 优秀大学生等多项荣誉以及 20 余项国家级竞赛奖项。担任 CVPR 2025 RoboTwin 双臂协作竞赛组织者。发起《具身智能技术指南》项目,已破 6k Github Stars。Lumina 具身智能社区联合创始人。小红书万粉博主@TianxingChen(陈天行)。

扫码报名


更多热门报告

内容中包含的图片若涉及版权问题,请及时与我们联系删除