UniGraspTransformer: Simplified Policy Distillation for Scalable Dexterous Robotic Grasping

我们介绍了 UniGraspTransformer，这是一种基于 Transformer 的通用网络，用于灵巧的机器人抓取，它简化了训练过程，同时增强了可扩展性和性能。与之前的方法如 UniDexGrasp++ 不同，后者需要复杂的多步骤训练流程，而 UniGraspTransformer 采用了一种简化的流程：首先，使用强化学习为每个单独的物体训练专用的策略网络，以生成成功的抓取轨迹；然后，将这些轨迹提炼成一个单一的通用网络。我们的方法使 UniGraspTransformer 能够有效扩展，最多可以包含 12 个自注意力块，用于处理成千上万个具有不同姿态的物体。此外，该方法在理想化和现实世界输入中都表现出良好的泛化能力，并在基于状态和基于视觉的环境中进行了评估。值得注意的是，UniGraspTransformer 为各种形状和方向的物体生成了更广泛的抓取姿势，从而产生了更多样化的抓取策略。实验结果表明，在基于视觉的设置下，UniGraspTransformer 在各种物体类别上的表现显著优于最先进的 UniDexGrasp++，对已见物体、未见但属于已见类别的物体以及完全未见的物体，其成功率分别提高了 3.5%、7.7% 和 10.1%。项目页面：https://dexhand.github.io/UniGraspTransformer。

论文尝试解决的问题是简化和提升机器人灵巧抓取任务中的训练流程与性能。这是一个在机器人学和深度学习领域中持续受到关注的问题，但UniGraspTransformer提出了一个新的解决方案来应对这一挑战。

UniGraspTransformer的关键思路是通过两步法来训练一个通用的Transformer网络：首先，为每个特定对象训练专门的策略网络以生成成功的抓取轨迹；然后，将这些轨迹的知识蒸馏到一个单一的通用网络中。这种方法不仅简化了训练流程，还提高了模型的可扩展性和泛化能力。

论文的亮点包括：1) 使用自注意力机制（最多12个块），使模型能够处理成千上万的对象及其不同的姿态；2) 在理想化和现实世界输入下均表现出色，适用于状态和视觉两种设置；3) 实验结果显示，在视觉设置下，对于已见对象、未见但同类对象和完全未见对象，成功率分别提高了3.5%、7.7%和10.1%；4) 项目页面提供了详细的实验结果和代码，便于复现和进一步研究。

近期在这个领域的一些相关研究包括：1) UniDexGrasp++，它通过多阶段训练流程来提高抓取成功率；2) Dex-Net 4.0，专注于通过深度学习和强化学习结合的方法来优化抓取策略；3) Deep Grasp Detection，利用深度卷积神经网络来检测和生成抓取点。