Touch-GS: Visual-Tactile Supervised 3D Gaussian Splatting

在这项工作中，我们提出了一种使用光学触觉传感器监督3D高斯喷洒（3DGS）场景的新方法。光学触觉传感器已经在机器人操作和物体表示方面得到了广泛应用；但是，原始的光学触觉传感器数据不适合直接监督3DGS场景。我们的表示利用高斯过程隐式表面来隐式表示物体，将许多触摸合并成具有不确定性的统一表示。我们将这个模型与单目深度估计网络相结合，在两个阶段中对齐，粗略地对齐深度相机，然后精细地调整以匹配我们的触摸数据。对于每个训练图像，我们的方法产生一个相应的融合深度和不确定性地图。利用这个额外的信息，我们提出了一个新的损失函数，方差加权深度监督损失，用于训练3DGS场景模型。我们利用DenseTact光学触觉传感器和RealSense RGB-D相机，展示了在不透明、反射和透明物体的少视角场景合成中，以这种方式结合触摸和视觉比单独使用视觉或触摸产生更好的定量和定性结果。请参见我们的项目页面http://armlabstanford.github.io/touch-gs。

如何使用光学触觉传感器监督3D高斯喷洒（3DGS）场景？

使用高斯过程隐式表面将多个触摸结合成具有不确定性的统一表示形式，并与单目深度估计网络相结合，提出了一种新的损失函数，对3DGS场景模型进行训练。

将光学触觉传感器和深度估计网络相结合，使用新的损失函数进行训练，提高了场景合成的质量；实验结果表明，与仅使用视觉或触觉相比，使用光学触觉传感器和视觉相结合可以获得更好的结果；开源了代码。

近期相关研究包括：'Tactile Object Recognition: Using Touch to Improve Object Detection via Quasi-Static Electric Field Sensing'，'Tactile-based Object Recognition: Modeling Approaches and Analysis of Datasets'，'Tactile Sensing for Dexterous In-Hand Manipulation in Robotics: A Review'等。