Learning a Shape-Conditioned Agent for Purely Tactile In-Hand Manipulation of Various Objects

使用多指手重定向多样化物体是一项具有挑战性的任务。目前，机器人手持操作的方法要么是针对特定物体的，要么需要通过视觉传感器对物体状态进行永久监督。这与人类的能力相去甚远，也与实际应用所需的不符。本文通过训练形状条件代理来解决这一差距，以纯触觉反馈（通过手指关节的扭矩和位置测量）来重定向手中的多样化物体。为了实现这一目标，我们提出了一个学习框架，利用了强化学习策略和学习的状态估计器中的形状信息。我们发现，通过将三维形状表示为从一组固定基点到形状表面的向量，通过其预测的三维姿态进行转换，对于学习熟练的手持操作特别有帮助。在模拟和实际实验中，我们展示了许多物体的高成功率重定向，与专门针对单个物体的代理的最新结果相当。此外，我们展示了对新物体的泛化，即使对于非凸形状，也实现了约90%的成功率。

论文旨在通过纯触觉反馈（通过手指关节的扭矩和位置测量）训练具有形状条件的代理来重新定位各种物体，以弥补当前机器人手持操纵方法的缺陷。这是一个新问题吗？

论文提出了一种学习框架，利用强化学习策略和学习的状态估计器中的形状信息，通过将三维形状表示为从一组固定基点到形状表面的向量，再通过其预测的三维姿态进行转换，学习灵巧的手持操纵。相比当前领域的研究，这篇论文的思路具有新意。

论文在仿真和实际实验中展示了高成功率的多个物体的重新定位，甚至对于非凸形状也能达到约90％的成功率。值得关注的是，论文使用的数据集是开源的，并且实验设计合理。此外，论文的方法对于单一物体代理的结果与现有的最先进结果相当。

最近在这个领域中，还有一些相关的研究，例如：1）《Tactile Object Recognition: Using a GelSight for Tactile Feature Extraction and Deep Learning》；2）《Tactile-based Object Recognition: Recognizing Objects by Learning to Touch》；3）《Shape-independent Hardness Estimation with a Tactile Gripper using Deep Learning》。