Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics

为了让机器人使用工具，首先需要教会机器人使用灵巧的手势精确地触摸任务执行的特定区域。物体的可供特征作为代理和物体之间功能交互的桥梁。然而，利用这些可供线索帮助机器人实现功能性工具抓取仍然没有解决。为了解决这个问题，我们提出了一种粒度感知可供特征提取方法，用于定位功能性可供特征区域并预测灵巧的粗略手势。我们研究人类工具使用的内在机制。一方面，我们使用物体功能性手指接触区域的细粒度可供特征来定位功能性可供特征区域。另一方面，我们使用手-物体交互区域中高度激活的粗粒度可供特征来预测抓取手势。此外，我们引入了一个基于模型的后处理模块，包括功能性手指坐标定位、手指到末端坐标变换和基于力反馈的粗到细抓取。这形成了一个完整的灵巧机器人功能抓取框架GAAF-Dex，它从人-物交互中学习粒度感知可供特征，用于灵巧机器人的基于工具的功能抓取。与需要大量数据注释的全监督方法不同，我们采用弱监督方法从手-物体交互的外向视角（Exo）图像中提取相关线索，以监督自我视角（Ego）图像中的特征提取。我们构建了一个小规模数据集FAH，其中包括18种常用工具执行6项任务的近6K张功能性手-物体交互的Exo-和Ego图像。对数据集的广泛实验表明，我们的方法优于现有的方法。代码将公开在https://github.com/yangfan293/GAAF-DEX。

解决问题：论文试图解决如何让机器人使用工具的问题，即如何让机器人使用精细的手势来精确触碰特定区域执行任务。

关键思路：使用精细的物体可供性特征来定位功能可供性区域，使用手-物交互区域中高度激活的粗粒度可供性特征来预测抓握手势。通过构建GAAF-Dex框架，包括功能手指坐标定位、手指到末端坐标变换和基于力反馈的从粗到细的抓握，实现了机器人的功能抓握。

其他亮点：通过弱监督方法从手-物交互的外向图像中提取相关线索来监督内向图像中的特征提取。构建了包含18个常用工具执行6个任务的小规模数据集FAH，并进行了广泛的实验。

相关研究：目前还没有太多关于机器人使用工具的研究，但是与物体可供性和机器人操作相关的研究包括《Learning Object Manipulation from Videos》和《Visual Learning and Recognition of 3D Objects from Modalities》等。