RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

基于仿真的数据合成已成为推动现实世界机器人操作任务发展的强大范式。然而，现有数据集在双臂操作任务方面仍存在不足，原因包括：（1）缺乏可扩展的任务生成方法，以及（2）仿真环境过于简化。我们提出了RoboTwin 2.0，这是一个可扩展的框架，用于自动化大规模生成多样化且逼真的数据，并配有双臂操作任务的统一评估协议。 该框架的核心是RoboTwin-OD，这是一个包含147个类别、共计731个实例的物体库，每个物体均附有语义和操作相关性的标注信息。在此基础上，我们设计了一条专家级数据合成流水线，利用多模态语言模型（MLLMs）和基于闭环仿真的优化机制，自动生成任务级别的执行代码。 为了提升从仿真到现实的迁移效果，RoboTwin 2.0沿着五个维度（杂乱程度、光照、背景、桌面高度和语言）应用了结构化的领域随机化方法，从而增强了数据的多样性和策略的鲁棒性。该框架已应用于50个双臂操作任务，并适配了五种不同的机器人本体。实验证明，该框架使代码生成的成功率提升了10.9%。在下游策略学习方面，一个仅使用合成数据并结合10次真实演示训练的VLA模型，相较于仅使用10次演示的基线模型取得了367%的相对提升；而仅使用合成数据进行训练的零样本模型也取得了228%的提升。这些结果凸显了RoboTwin 2.0在增强仿真到现实迁移能力和应对环境变化方面的有效性。我们公开了数据生成器、基准测试、数据集和代码，以支持在鲁棒双臂操作领域的可扩展研究。项目页面：https://robotwin-platform.github.io/，代码：https://github.com/robotwin-Platform/robotwin/。

论文试图解决双臂机器人操作中仿真到现实（sim-to-real）迁移效果差、缺乏多样化和现实的数据集，以及缺乏统一评估协议的问题。这一问题在现有研究中仍未被有效解决，尤其是在大规模、自动化生成真实任务数据方面。

论文提出RoboTwin 2.0，一个可扩展的框架，用于自动化生成多样化和现实的双臂操作数据，并设计了统一的评估协议。其关键创新在于构建了一个具有语义和操作相关注释的大型物体库（RoboTwin-OD），结合多模态语言模型与仿真内优化，实现任务级执行代码的自动生成。此外，通过结构化域随机化增强数据多样性和策略鲁棒性。

1. 提出RoboTwin-OD物体库，包含731个实例、147个类别，支持语义与操作相关标注。 2. 设计基于MLLM与仿真优化的数据合成流水线，提升代码生成成功率10.9%。 3. 引入结构化域随机化策略，沿五个维度增强环境多样性，提升策略鲁棒性。 4. 实验覆盖50个双臂任务、5种机器人形态，验证合成数据在少量真实数据辅助下的优越性能。 5. VLA模型使用合成数据加10个真实演示训练，相对提升367%；零样本模型提升228%。 6. 项目开源数据生成器、基准、数据集和代码，推动可扩展的双臂操作研究。

1. Sim2Real: Unsupervised Domain Adaptation for Real-World Depth Estimation using Simulated Data 2. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 3. A Survey on Sim-to-Real Transfer in Robotics: Challenges, Methods, and Recent Trends 4. RoboTwin: A Scalable Framework for Embodied Data Synthesis and Benchmarking in Bimanual Manipulation 5. Learning Dexterous In-Hand Manipulation from Simulated Experience 6. Large-Scale Study of Curiosity-Driven Learning in Continuous Action Spaces