DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics

机器人领域的一个关键挑战是实现快速、安全和稳健的多样化物体灵巧抓取，这是工业应用中的一个重要目标。然而，现有的方法往往具有非常有限的速度、灵活性和通用性，同时缺乏硬件安全保证。在这项工作中，我们介绍了DextrAH-G，这是一个完全在模拟环境中训练的基于深度的灵巧抓取策略，结合了强化学习、几何纤维和师生蒸馏。我们解决了关节臂-手策略学习中的关键挑战，如高维观测和动作空间、模拟到真实世界的差距、避免碰撞和硬件约束等问题。DextrAH-G使一个23个电机的臂-手机器人能够安全、连续地抓取和运输各种物体，使用多模态输入包括深度图像，实现了物体几何形状的通用性和高速性。视频请见https://sites.google.com/view/dextrah-g。

如何在机器人抓取任务中实现快速、安全、稳健的灵巧抓取？现有方法在速度、灵活性和普适性方面存在局限性，并且缺乏硬件安全保证。

DextrAH-G是一个基于深度的灵巧抓取策略，完全在模拟中进行训练，结合了强化学习、几何纺织品和师生蒸馏。通过解决联合臂手策略学习中的关键挑战，如高维观测和动作空间、模拟到现实的差距、避免碰撞和硬件约束，实现了23个电机的机械臂手抓取和运输各种物体。

该论文的亮点包括：使用深度图像进行多模态输入，实现了对物体几何形状的泛化；通过师生蒸馏实现了模型的压缩和加速；在硬件上实现了安全保证。实验结果表明，该方法在速度、灵活性和普适性方面都有很大提升。

近期的相关研究包括：《Robust Grasping via Mid-Level Vision》、《Real-time Grasp Detection Using Convolutional Neural Networks》、《Learning Hand-Eye Coordination for Robotic Grasping with Large-Scale Data Collection》等。