Dexterous Functional Grasping

虽然在灵巧操控方面取得了重大进展，但大多数成果仅限于类似于手持重定向的基准任务，这些任务在现实世界中的实用性有限。灵巧手相对于两指手的主要优点在于其能够拾取工具和其他物品（包括薄物品）并紧握它们以施加力量。然而，这项任务需要复杂的功能性认知和精确的低级控制。虽然以前的工作从人类数据中获得了功能性认知，但这种方法无法扩展到低级控制。同样，模拟训练也无法让机器人理解现实世界的语义。本文旨在将两者结合起来，实现对野外物体的功能性抓握。我们采用模块化方法。首先，通过匹配不同物体的相应区域来获得功能性认知，然后运行在模拟环境中训练的低级策略来抓握物体。我们提出了一种新颖的特征抓握应用，以减少使用少量人类数据的强化学习的搜索空间，并发现它能够导致更稳定和物理上更真实的运动。我们发现特征抓握的行动空间在模拟中优于基线，并在现实中优于硬编码抓握，与受过训练的人类远程操作员相匹配或超越其表现。结果可视化和视频请参见 https://dexfunc.github.io/。

本文旨在解决机器人手部操作中的功能性抓取问题，即机器人如何能够像人类一样准确地抓取并使用工具和物品。

本文采用模块化方法，首先通过匹配不同物品的相应区域来获取物品的可用性信息，然后使用在模拟环境中训练的低级策略来抓取物品。同时，本文提出了一种新颖的eigengrasp方法来降低强化学习的搜索空间，使用少量的人类数据来提高稳定性和物理真实性。

本文的实验结果表明，eigengrasp方法在模拟环境中表现优于基线，并在真实环境中胜过硬编码抓取，并且与受过训练的人类远程操作者相匹配或超过其表现。论文提供了结果可视化和视频，并提供了开源代码。值得进一步研究的是本文提出的eigengrasp方法。

在这个领域的相关研究包括：1）基于物品外形的抓取方法；2）基于物品语义信息的抓取方法；3）使用深度学习方法进行物品抓取。其中一些相关论文包括：“A 3D Shape Descriptor Based on Principal Component Analysis for Grasp Synthesis”、“Semantic Object Parsing with Local-global Long Short-Term Memory”、“Deep Learning for Detecting Robotic Grasps”。