SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects

使用现成的RGB-D相机获取透明物体的精确深度信息是计算机视觉和机器人领域中众所周知的挑战。深度估计/补全方法通常使用从仿真、其他传感器或专门的数据收集设置和已知3D模型中获取的高质量深度标签的数据集进行训练。然而，为规模化的数据集获取可靠的深度信息并不简单，这限制了训练的可扩展性和泛化性。神经辐射场（NeRFs）是一种无需学习的方法，在新颖视角合成和形状恢复方面已经取得了广泛的成功。然而，通常需要启发式方法和受控环境（光照、背景等）来准确捕捉镜面表面。在本文中，我们提出使用视觉基础模型（VFMs）以零样本、无标签的方式进行分割，通过同时重建语义场和扩展来指导这些物体的NeRF重建过程，以增加其鲁棒性。我们提出的方法——分割辅助的NeRF（SAID-NeRF）在透明物体的深度补全数据集和机器人抓取方面表现出显著的性能。

如何在使用 RGB-D 相机获取透明物体的深度信息？如何提高深度估计的可靠性和扩展性？

使用 Visual Foundation Models (VFM) 进行分割，指导 Neural Radiance Fields (NeRF) 重建过程，提高对透明物体深度信息的估计精度和稳定性。

论文提出的 SAID-NeRF 方法在透明物体的深度补全和机器人抓取任务中表现显著。实验使用的数据集和代码开源。

近期的相关研究包括：NeRF、深度学习在计算机视觉和机器人学中的应用。