Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation

透明物体在工业、制药和家庭中无处不在。对于机器人来说，抓取和操纵这些物体是一个重大的挑战。现有的方法难以为具有挑战性的透明物体重建完整的深度图像，导致深度重建中存在空洞。最近的研究表明，神经辐射场（NeRF）在具有透明物体的场景中的深度感知效果良好，这些深度图可以用于高精度地抓取透明物体。NeRF基于深度重建仍然可能在特别具有挑战性的透明物体和照明条件下遇到困难。在本研究中，我们提出了Residual-NeRF，这是一种改进透明物体深度感知和训练速度的方法。机器人经常在同一区域操作，比如厨房。通过首先学习没有透明物体要操作的场景的背景NeRF，我们减少了学习新物体变化时面临的歧义。我们提出了训练两个额外的网络：一个残差NeRF学习推断残差RGB值和密度，一个Mixnet学习如何组合背景和残差NeRF。我们贡献了合成和真实实验，表明Residual-NeRF改善了透明物体的深度感知。合成数据的结果表明，Residual-NeRF的RMSE低46.1%，MAE低29.5%，优于基线。真实世界的定性实验表明，Residual-NeRF可以产生更健壮的深度图像，噪声更少，空洞更少。网址：https://residual-nerf.github.io。

解决透明物体深度感知和抓取难题。

通过学习不带透明物体的背景NeRF来降低学习新物体时的不确定性，同时提出了Residual-NeRF方法，通过训练Residual NeRF和Mixnet网络，改进了透明物体的深度感知和训练速度。

论文提出的Residual-NeRF方法在合成和真实数据上均表现出更好的深度感知效果，相比基线方法RMSE和MAE均有显著下降。实验使用了开源数据集和代码，并且提供了可视化结果。值得进一步研究透明物体的抓取问题。

最近相关研究包括：'Neural Radiance Fields for Unconstrained Photo Collections'、'Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer'等。