报告主题：CoRL X-Embodiment最佳论文奖，清华团队揭示具身智能Data Scaling Laws

报告日期：11月21日（周四）14:30-15:30

报告要点:

在本次演讲中，我们探讨了在机器人领域，尤其是机器人操作中，是否存在数据扩展规律，以及适当的数据扩展是否能够产生单任务机器人策略，从而实现对同类中的任何物体在任何环境中的零样本部署。为此，我们对模仿学习中的数据扩展进行了全面研究。通过在众多环境和物体上收集数据，我们研究了策略的泛化性能如何随着训练环境、物体和演示次数的增加而变化。在整个研究过程中，我们收集了超过40,000次人类演示，并在严格的评估框架下执行了超过15,000次真实世界中的机器人操作。我们的研究结果揭示了几个有趣的现象：策略的泛化性能与环境和物体的数量大致呈幂律关系。环境和物体的多样性远比演示的绝对数量更为重要；一旦每个环境或物体的演示数量达到某个阈值，额外的演示对性能的影响就变得极小。基于这些见解，我们提出了一种高效的数据收集策略。通过四名数据收集人员一个下午的工作，我们成功收集了足够的数据，使得两项任务的策略在全新环境中的未知物体上实现了约90%的成功率。
In this talk, we explore whether data scaling laws exist in robotics, particularly in robotic manipulation, and whether appropriate data scaling can yield single-task robot policies that can be deployed zero-shot for any object within the same category in any environment. To this end, we conduct a comprehensive empirical study on data scaling in imitation learning. By collecting data across numerous environments and objects, we study how a policy’s generalization performance changes with the number of training environments, objects, and demonstrations. Throughout our research, we collect over 40,000 demonstrations and execute more than 15,000 real-world robot rollouts under a rigorous evaluation protocol. Our findings reveal several intriguing results: the generalization performance of the policy follows a roughly power-law relationship with the number of environments and objects. The diversity of environments and objects is far more important than the absolute number of demonstrations; once the number of demonstrations per environment or object reaches a certain threshold, additional demonstrations have minimal effect. Based on these insights, we propose an efficient data collection strategy. With four data collectors working for one afternoon, we collect sufficient data to enable the policies for two tasks to achieve approximately 90% success rates in novel environments with unseen objects.

报告嘉宾：

胡英东，是清华大学交叉信息研究院的四年级博士生，导师为高阳教授。他的主要研究方向为具身智能，涉及机器学习、机器人学和计算机视觉的交叉领域。他的研究专注于开发具备泛化能力的通用机器人系统，使其能够在多样化和非结构化的真实开放环境中执行任务。胡英东已在ICML、CoRL、ECCV等多个顶级机器学习和机器人学会议上发表论文。

扫码报名

更多热门报告

内容中包含的图片若涉及版权问题，请及时与我们联系删除