RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

基于仿真的数据合成已成为提升真实世界机器人操作能力的一个强大范式。然而，现有的合成数据集在双臂操作任务中仍显不足，主要面临两个挑战：（1）缺乏一种高效、可扩展的新型任务数据生成方法；（2）仿真环境过于简化，无法真实反映现实世界的复杂性。我们提出了 RoboTwin 2.0，这是一个可扩展的仿真框架，能够自动化、大规模地生成多样化且逼真的数据，并为双臂操作提供统一的评估协议。 我们首先构建了 RoboTwin-OD，这是一套大规模物体库，包含来自147个类别的731个实例，每个实例都标注了语义信息和与操作相关的标签。在此基础上，我们开发了一条专家数据合成流水线，将多模态大语言模型（MLLMs）与闭环仿真优化相结合，以自动生成任务级执行代码。为了提升从仿真到现实的迁移效果，RoboTwin 2.0 在五个维度上引入结构化的领域随机化：杂乱程度、光照、背景、桌面高度和语言指令，从而增强数据多样性并提高策略的鲁棒性。 我们在五种不同构型的机器人上实现了该框架，涵盖50项双臂操作任务，并预先收集了超过10万条经过领域随机化的专家轨迹。实验结果显示，代码生成成功率提升了10.9%，并且在新的真实世界场景中表现出更好的泛化能力。在一个基于本数据集微调的VLA模型上，其在未见过的真实世界任务中的表现相对提升了367%（从9.0%提升至42.0%）；而仅使用我们的合成数据训练的零样本模型也取得了228%的相对提升，显示出无需真实世界监督下的强大泛化能力。我们公开了数据生成器、基准测试、数据集和代码，以支持在鲁棒双臂操作领域的可扩展研究。

论文旨在解决当前合成数据集在双臂机器人操作中的两个主要不足：（1）缺乏高效、可扩展的新任务数据生成方法；（2）模拟环境过于简化，无法反映现实世界的复杂性。这是一个较新的问题，因为随着机器人学习的发展，如何有效利用仿真技术提升真实世界操作能力成为研究热点。

提出RoboTwin 2.0框架，结合大规模物体库RoboTwin-OD与基于多模态大语言模型（MLLM）的数据合成管道，实现自动化任务代码生成和仿真优化，并通过结构化的领域随机化增强数据多样性和策略鲁棒性。相比现有工作，该方案首次将大语言模型与仿真循环结合，用于双臂操作任务的自动合成，同时引入多轴领域随机化提升sim-to-real迁移效果。

1. 构建了包含731个物体实例、147类别的大规模标注物体库RoboTwin-OD 2. 开发了结合多模态大语言模型与仿真优化的数据合成系统 3. 提出五轴结构化领域随机化策略，包括场景杂乱、光照、背景等现实因素 4. 预收集超过10万条领域随机化的专家轨迹，涵盖50个双臂任务和5种机器人形态 5. 实验显示在未见过的真实世界任务中，微调模型达到367%的性能提升，零样本模型也有228%提升 6. 开源了数据生成器、基准测试、数据集和代码，推动可扩展的双臂操作研究

1. RoboTwin: A Scalable Simulation Framework for Bimanual Manipulation (CVPR 2023) 2. Sim2Real via Sim2Sim: Data-Efficient Learning from Simulations with Biased Priors (NeurIPS 2022) 3. Language-Image Pretraining for Real-World Robotics Tasks (ICRA 2023) 4. Domain Randomization and Generative Models for Sim-to-Real Transfer in Robotic Manipulation (RSS 2022)