PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation

人类似乎将潜在的触觉信号纳入了他们的感知中。我们的目标是让机器人具备类似的能力，我们称之为“我们的模型”。我们的模型旨在基于代表被触摸区域的视觉补丁来预测预期的触摸信号。我们将这个问题框架化为学习一个低维视觉触觉嵌入的任务，其中我们编码一个深度补丁，从中解码触觉信号。为了完成这个任务，我们使用了ReSkin，一种廉价且可替换的基于磁性的触觉传感器。使用ReSkin，我们收集并在包含八种基本几何形状的随机触摸的对齐触觉和视觉数据对的数据集上训练了PseudoTouch。我们通过将PseudoTouch应用于两个下游任务来证明其有效性：物体识别和抓握稳定性预测。在物体识别任务中，我们评估了所学嵌入在五种基本几何形状和五种家庭物品的一组上的性能。使用PseudoTouch，在仅进行十次触摸后，我们实现了84%的物体识别准确率，超过了基于本体感知的基线。对于抓握稳定性任务，我们使用ACRONYM标签来训练和评估一个使用PseudoTouch的预测从虚拟深度信息中导出的抓握成功预测器。相比于仅依赖部分点云数据的基线，我们的方法在准确性方面取得了令人印象深刻的32%的绝对改进。我们在http://pseudotouch.cs.uni-freiburg.de上公开提供数据、代码和训练模型。

本论文旨在为机器人赋予类似于人类的触觉感知能力，以实现基于视觉图像预测触觉信号的任务，如物体识别和抓握稳定性预测。

通过使用一种廉价且可替换的基于磁性的触觉传感器ReSkin，本论文提出了一种学习低维视觉-触觉嵌入的方法，其中从深度图像中编码并解码触觉信号。

论文通过对八种基本几何形状进行随机触摸，收集了视觉和触觉数据对，并使用PseudoTouch进行训练。在物体识别任务中，使用PseudoTouch进行十次触摸后，达到了84%的识别准确率，超过了基于本体感的基准线。在抓握稳定性任务中，使用PseudoTouch进行预测，相对于基于部分点云数据的基准线，达到了32%的绝对精度提升。数据、代码和训练模型可公开获取。

最近的相关研究包括：1.利用深度学习预测触觉信号；2.使用机器视觉和力觉传感器进行物体识别和抓握稳定性预测；3.研究基于触觉反馈的机器人控制策略。