Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance

本文研究了触觉感知在解决真实世界操纵任务中的关键作用，但是用于操纵的触觉传感器存在易碎和成本高等使用障碍。在这项工作中，我们使用一种坚固、低成本的触觉传感器BeadSight作为精确预校准传感器的替代品，用于预训练操纵。我们展示了即使使用低保真度的BeadSight传感器，触觉预训练也可以提高模仿学习代理在复杂操纵任务中的性能。我们将这种方法与基线USB插头任务进行了比较，以前该任务使用更高精度的GelSight传感器作为触觉输入进行预训练。我们最好的经过BeadSight预训练的视觉触觉代理在仅使用视觉推理的情况下完成了任务，准确率为70\%，而最好的经过GelSight预训练的视觉触觉代理的准确率为85\%。

本文试图通过使用低成本的BeadSight触觉传感器进行预训练，提高机器人在复杂操作任务中的表现，以解决传统触觉传感器易损坏、成本高等问题。

本文的关键思路是使用低成本的BeadSight触觉传感器进行预训练，提高机器人在复杂操作任务中的表现。

本文使用BeadSight触觉传感器进行预训练，相比传统高精度的GelSight触觉传感器，机器人在USB插拔任务中的准确率下降了15%。本文的实验设计合理，数据集开源，并且提出了低成本触觉传感器的使用方法。

在相关研究中，也有一些使用低成本触觉传感器进行机器人操作任务的研究，例如《Learning to Grasp with Tactile Sensors: Dataset and Analysis》。