Tactile-Augmented Radiance Fields

我们提出了一种场景表示，称为触觉增强辐射场（TaRF），将视觉和触觉带入共享的三维空间。该表示可用于估计场景内给定三维位置的视觉和触觉信号。我们通过一组照片和稀疏采样的触探探针捕捉场景的TaRF。我们的方法利用了两个洞察力：（i）常见的基于视觉的触摸传感器是基于普通相机构建的，因此可以使用多视角几何方法将其注册到图像上，（ii）场景的视觉和结构相似区域共享相同的触觉特征。我们利用这些洞察力将触摸信号注册到捕捉的视觉场景中，并训练条件扩散模型，该模型提供从神经辐射场渲染的RGB-D图像生成其相应触觉信号。为了评估我们的方法，我们收集了一个TaRF数据集。该数据集包含比以前的现实世界数据集更多的触摸样本，并为每个捕获的触摸信号提供空间对齐的视觉信号。我们展示了我们跨模态生成模型的准确性以及捕获的视觉-触觉数据在几个下游任务中的效用。项目页面：https://dou-yiming.github.io/TaRF

论文旨在提出一种名为TaRF的场景表示方法，将视觉和触觉融合到共享的三维空间中，以便于生成对应的视觉和触觉信号。该方法是否能够准确地生成视觉和触觉信号，以及在下游任务中的应用是否有效，是论文试图解决的问题。

论文的关键思路是将普通相机上的触觉传感器与图像进行注册，以及利用场景中视觉和结构相似的区域共享相同的触觉特征。通过这种方法，训练条件扩散模型，生成对应的触觉信号。相比当前领域的研究，该方法的新意在于将视觉和触觉信息融合到共享的三维空间中，并使用条件扩散模型生成触觉信号。

论文的实验使用了自己收集的TaRF数据集，该数据集包含比以前的真实世界数据集更多的触觉样本，并为每个捕获的触觉信号提供了空间对齐的视觉信号。实验结果表明，跨模态生成模型的准确性以及捕获的视觉-触觉数据的效用在几个下游任务中得到了证明。论文提供了一个开源项目页面，其中包含代码和数据集。

在这个领域中，最近的一些相关研究包括：1）利用深度学习方法生成触觉反馈的方法；2）使用视觉和触觉信息进行物体识别和分类的方法；3）利用深度学习方法对触觉信号进行降噪和重构的方法。相关论文包括《DeepTact：生成触觉反馈的深度学习方法》、《利用视觉和触觉信息的物体识别与分类方法》和《深度学习在触觉信号处理中的应用》等。