RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

本文介绍了一种用于双臂机器人操作的创新扩散基础模型——机器人扩散Transformer（RDT），该模型建立在扩散模型的基础上，能够有效地表示多模态信息，并采用可扩展的Transformer设计来处理多模态输入的异质性，捕捉机器人数据的非线性和高频特性。为了解决数据稀缺问题，文章进一步引入了一种物理可解释的统一动作空间，该空间可以统一各种机器人的动作表示，并保留原始动作的物理含义，方便学习可转移的物理知识。通过这些设计，作者成功地在目前最大的多机器人数据集上对RDT进行了预训练，并将其扩展到了12亿个参数，这是目前用于机器人操作的最大的基于扩散的基础模型。最后，作者在一个自己创建的多任务双臂数据集上对RDT进行了微调，以提高其操作能力。在真实机器人实验中，RDT明显优于现有方法。它能够零样本泛化到未见过的物体和场景，理解和遵循语言指令，只需1~5个演示就能学习新技能，并有效地处理复杂的灵巧任务。读者可以访问https://rdt-robotics.github.io/rdt-robotics/获取代码和视频。

解决问题：论文旨在解决双臂机器人操作中的多模态行为分布和数据稀缺性所带来的挑战，提出了一种基于扩散模型和可扩展Transformer的机器人扩散Transformer（RDT）模型。

关键思路：利用扩散模型有效地表示多模态性，并设计了可扩展Transformer来处理多模态输入的异质性，并捕捉机器人数据的非线性和高频性。同时，引入了物理可解释的统一动作空间来统一各种机器人的动作表示，从而促进学习可转移的物理知识。

其他亮点：论文在多个机器人数据集上进行了预训练，并将其扩展到了12亿个参数，是目前用于机器人操作的最大扩散模型。在自己创建的多任务双臂数据集上进行了微调，实验结果表明，RDT明显优于现有方法。它可以零-shot泛化到看不见的物体和场景，理解和遵循语言指令，仅凭1~5个演示就可以学习新技能，并有效处理复杂的灵巧任务。论文提供了代码和视频。

相关研究：最近在这个领域中，还有一些相关的研究，如《Learning to Manipulate Deformable Objects without Demonstrations》、《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》等。