Imagine2touch: Predictive Tactile Sensing for Robotic Manipulation using Efficient Low-Dimensional Signals

人类似乎在感知中融入了潜在的触觉信号。我们的目标是赋予机器人类似的能力，我们称之为Imagine2touch。Imagine2touch旨在基于代表待触摸区域的视觉补丁来预测预期的触觉信号。我们使用ReSkin，一种廉价且紧凑的触摸传感器，通过随机触摸五个基本几何形状和一个工具来收集所需的数据集。我们训练Imagine2touch对其中的两个形状进行训练，并在odd工具上进行验证。我们通过将Imagine2touch应用于下游任务——物体识别来展示其有效性。在这个任务中，我们在两个实验中评估Imagine2touch的表现，总共包括5个训练分布对象。在每个物体进行十次触摸后，Imagine2touch实现了58%的物体识别准确率，超过了本体感知基线。

本论文旨在实现Imagine2touch，即让机器人通过视觉信息预测触觉信号，以实现物体识别等任务。

使用ReSkin触觉传感器收集数据集，通过训练模型实现视觉信息到触觉信号的映射，进而在物体识别任务中取得较好的效果。

论文使用了ReSkin触觉传感器收集数据，并在两个形状上进行训练，在工具形状上进行验证。在物体识别任务中，Imagine2touch取得了58%的准确率，优于基线模型。研究者还探讨了触觉信息在物体识别中的作用，并提出了一些值得进一步研究的方向。

与本文相关的研究包括：1.《Deep Multimodal Embedding: Manipulating Novel Objects with Point-clouds, Language and Trajectories》；2.《A Survey on Tactile Sensing for Robotic Hands: Technological, Scientific and Application-oriented Challenges》。