Visuo-Tactile Pretraining for Cable Plugging

触觉信息是精细操作的关键工具。作为人类，我们在理解环境中的物体及如何与其交互时，高度依赖触觉信息。我们不仅使用触觉来执行操作任务，还用它来学习如何执行这些任务。因此，为了创建能够以人类或超人类水平完成操作任务的机器人代理，我们需要在技能执行和技能学习中正确地融合触觉信息。在本文中，我们研究了如何将触觉信息纳入模仿学习平台，以提高复杂任务的性能。为此，我们解决了插入USB电缆的挑战，这是一项依赖于精细视觉触觉服务的熟练操作任务。通过将触觉信息纳入模仿学习框架，我们能够训练机器人代理插入USB电缆，这是模仿学习的首次尝试。此外，我们还探讨了如何通过对比损失预训练过程，利用触觉信息来训练非触觉代理。我们的结果表明，通过触觉信息的预训练，非触觉代理的性能可以显著提高，达到与视觉触觉代理相当的水平。有关演示视频和代码库的访问，请参见项目网站：https://sites.google.com/andrew.cmu.edu/visuo-tactile-cable-plugging/home。

如何将触觉信息应用于机器人操作中，以提高机器人的操作能力和学习能力？

通过将触觉信息纳入模仿学习框架，训练机器人完成复杂操作任务，并通过对比损失预训练过程来利用触觉信息提高非触觉代理的性能。

论文通过解决插入USB电缆的任务，展示了如何将触觉信息纳入模仿学习框架中，以提高机器人操作能力。同时，通过对比损失预训练过程，还展示了如何利用触觉信息提高非触觉代理的性能。该论文提供了演示视频和代码库。

在这个领域中，最近的相关研究包括：《Tactile-based Manipulation with Robot Learning》、《Learning to Grasp with Tactile Sensors》等。