Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

执行接触丰富的操作任务需要融合触觉和视觉反馈。然而，这些模式的不同性质带来了重大挑战。在本文中，我们介绍了一种系统，利用视觉和触觉感知输入，实现了灵巧的手持操纵。具体而言，我们提出了机器人共感，这是一种新颖的基于点云的触觉表示，灵感来自于人类的触觉-视觉共感。这种方法允许同时和无缝地集成两种感官输入，提供更丰富的空间信息，促进更好地推理机器人行为。该方法在模拟环境中进行训练，然后部署到真实机器人上，适用于各种手持物体旋转任务。我们对如何整合视觉和触觉以改进强化学习和Sim2Real性能进行了全面的剖析。我们的项目页面可在https://yingyuan0414.github.io/visuotactile/上访问。

论文旨在解决机器人在进行复杂的接触操作时，需要同时利用视觉和触觉反馈的问题。

提出了一种新的点云感知方法，称为机器人共感，用于同时整合视觉和触觉反馈，从而实现更精细的手部操作。

论文使用了模拟环境进行训练，并在真实机器人上进行了测试。提出的方法在各种手持物体旋转任务中都具有应用潜力。通过对视觉和触觉整合对强化学习和Sim2Real性能的影响进行了全面的分析。

近期的相关研究包括“Tactile-based Manipulation with Robot Skin: A Survey”和“Robotic Tactile Perception of Object Properties: A Review”。