DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics

机器人领域的一个重要挑战是在各种物体上实现快速、安全、稳健的灵巧抓取，这是工业应用中的一个重要目标。然而，现有的方法通常具有非常有限的速度、灵活性和普适性，同时也缺乏硬件安全保证。在这项工作中，我们介绍了DextrAH-G，这是一个基于深度的灵巧抓取策略，完全在模拟环境中进行训练，结合了强化学习、几何织物和师生蒸馏技术。我们解决了联合臂手策略学习中的关键挑战，如高维观察和动作空间、模拟到真实世界的鸿沟、碰撞避免和硬件约束等。DextrAH-G使得一个由23个电机组成的臂手机器人能够安全、连续地以高速抓取和运输各种物体，使用多模态输入包括深度图像，实现了物体几何形状的普适性。视频请参见网站https://sites.google.com/view/dextrah-g。

如何实现快速、安全、稳健的机器人手抓取物体是机器人领域的一个重要问题，但现有方法往往速度、灵活性和通用性都很有限，同时缺乏硬件安全保障。本文旨在通过深度学习、几何布料和师生蒸馏等方法，在模拟环境中训练出一种基于深度图像的机器人手抓取策略，以解决联合机械臂-机器人手策略学习中的关键问题。

本文提出了一种深度学习、几何布料和师生蒸馏相结合的方法，通过在模拟环境中训练机器人手抓取策略，实现了在高维观测和动作空间、sim2real差距、碰撞避免和硬件约束等方面的关键挑战。

本文提出的DextrAH-G方法可以训练出一个23个电机的机械臂-机器人手组合，通过多模态输入（包括深度图像）可以安全、持续地抓取和运输大量不同形状的物体，并实现了跨物体几何形状的通用性。论文提供了相关视频，并开源了代码。

与本文相关的研究包括：1. 机器人手抓取的深度学习方法；2. 基于模拟环境的机器人手抓取策略学习；3. sim2real差距的解决方法；4. 师生蒸馏在机器人学习中的应用。