AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems

我们探讨了如何利用可扩展的机器人数据来应对现实世界中通用机器人操作的挑战。为此，我们推出了AgiBot World，这是一个大规模平台，包含五个部署场景中的217项任务，超过100万条轨迹，相比现有数据集，我们在数据规模上实现了数量级的增长。通过引入标准化的人工验证数据收集管道，AgiBot World确保了高质量和多样化的数据分布。该平台可以从夹爪扩展到灵巧手和视触觉传感器，以实现精细技能的获取。 基于这些数据，我们引入了一种新的通用策略——Genie Operator-1 (GO-1)，该策略利用潜在动作表示来最大化数据利用率，并展示了随着数据量增加而性能可预测提升的特点。在我们的数据集上预训练的策略，在域内和域外场景下，相比在Open X-Embodiment上训练的策略，平均性能提高了30%。GO-1在现实世界的灵巧操作和长时间任务中表现出色，复杂任务的成功率超过60%，比之前的RDT方法高出32%。 通过开源数据集、工具和模型，我们旨在使更多人能够接触到大规模、高质量的机器人数据，从而推动可扩展和通用智能的发展。

该论文试图解决如何利用大规模机器人数据来应对现实世界中通用机器人操作的挑战。这是一个重要且相对较新的问题，旨在通过大量多样化数据提升机器人的操作能力和适应性。

关键思路在于构建了一个名为AgiBot World的大规模平台，包含超过100万条轨迹和217个任务，横跨五个部署场景。通过引入Genie Operator-1 (GO-1)，一种基于潜在动作表示的新颖通用策略，最大化利用这些数据，从而实现性能的可预测扩展。相比现有研究，这种方法不仅在数据量上有了数量级的增长，还在数据收集和验证过程中引入了标准化流程和人类参与，确保了数据的质量和多样性。

论文展示了使用AgiBot World数据集预训练的模型比Open X-Embodiment上的模型平均性能提高了30%，特别是在复杂任务中成功率达到60%以上。此外，作者开源了数据集、工具和模型，为社区提供了宝贵资源，促进了进一步的研究和发展。未来可以继续探索更复杂的环境和任务，以及如何将这些技术应用于更多类型的机器人。

最近在这个领域内，有几项相关研究值得关注： 1. "Learning Dexterous In-Hand Manipulation" 探索了灵巧的手部操作。 2. "One Million Object Challenge: A Large-Scale Dataset for Robotic Grasping and Manipulation" 提供了一个大规模抓取和操作的数据集。 3. "Large-Scale Data Collection for Robotic Manipulation Using Human Assistance" 强调了人类辅助在大规模数据收集中的作用。 4. "Generalization in Robotics through Latent Space Adaptation" 讨论了通过潜在空间适应实现的泛化能力。