Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation

为了达到人类级别的灵巧度，机器人必须从多模态感知中推断空间意识，以便推理接触交互。在手中操纵新型物体时，这种空间意识涉及估计物体的姿态和形状。目前，手中感知的现状主要采用视觉技术，并限制于跟踪预先已知的物体。此外，在操作过程中，手中物体的视觉遮挡是不可避免的，这使得当前系统无法完成无遮挡任务。我们将视觉和触觉感知结合在多指手上，以估计手中操纵物体的姿态和形状。我们的方法NeuralFeels通过在线学习神经场来编码物体几何形状，并通过优化姿态图问题来共同跟踪它。我们在模拟和实际环境中研究了多模态手中感知，通过本体感知驱动策略与不同物体进行交互。我们的实验显示，最终重构F分数为81％，平均姿态漂移为4.7毫米，使用已知CAD模型进一步减少至2.3毫米。此外，我们观察到，在视觉遮挡严重的情况下，与仅使用视觉方法相比，我们可以实现高达94％的跟踪改进。我们的结果表明，在手中操纵过程中，触觉至少可以优化视觉估计，最好可以消除视觉估计的歧义。我们发布了我们的评估数据集FeelSight，其中包含70个实验，作为此领域基准测试的一步。我们的多模态感知驱动的神经表示可以作为推进机器人灵巧度的感知支撑。我们的项目网站上可以找到视频 https://suddhu.github.io/neural-feels/。

论文旨在解决机器人在手持物品操作中的感知问题，尤其是面对视觉遮挡时的问题。当前的感知方法主要依赖于视觉，且仅限于跟踪已知物体。但在手持操作中，物体的姿态和形状需要通过多模态感知进行推断。

论文提出了一种融合视觉和触觉传感的方法，通过学习神经场来估计物体的姿态和形状。该方法可以在线学习神经场，并通过优化姿态图问题来跟踪物体。实验结果表明，该方法可以在视觉遮挡时实现比单独使用视觉方法更好的跟踪效果。

论文提出的方法可以通过融合视觉和触觉传感来提高机器人在手持操作中的感知能力。实验结果表明，该方法可以有效地解决视觉遮挡问题，提高跟踪准确性。作者还发布了一个包含70个实验的数据集，并开源了代码。该方法可以为机器人灵巧性的提升提供感知支持。

在相关研究中，有一些研究也探讨了机器人在手持操作中的感知问题。例如，论文中提到了一些基于视觉和触觉传感的方法，以及一些基于深度学习的方法。