DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid

我们提出了DynamicSurf，一种无模型的神经隐式表面重建方法，用于从单目RGB-D视频中进行非刚性表面的高保真3D建模。为了应对变形表面单目序列中缺乏多视角线索的问题，这是3D重建中最具挑战性的情况之一，DynamicSurf利用深度、表面法线和RGB损失来提高重建保真度和优化时间。DynamicSurf学习了一个神经变形场，将表面几何的规范表示映射到当前帧。我们通过将规范表示设计为一个学习特征网格，而不是使用单个MLP的竞争方法，从当前神经非刚性表面重建模型中脱颖而出，导致更快速和更准确的表面重建。我们在公共数据集上展示了DynamicSurf，并展示了它可以优化具有不同帧的序列，比纯MLP方法快6倍，同时实现了与最先进方法相当的结果。该项目可在https://mirgahney.github.io//DynamicSurf.io/上获得。

论文旨在解决单目RGB-D视频中非刚性表面的高保真三维建模问题，通过利用深度、表面法线和RGB损失来提高重建精度和优化时间。这是否是一个新问题？

DynamicSurf采用学习的特征网格作为规范表示，学习神经变形场，将规范表示的表面几何映射到当前帧，相比当前领域的研究，这篇论文的关键思路是什么？

论文使用公共数据集演示了DynamicSurf，并显示它可以优化不同帧序列，相对于纯MLP方法加速了6倍，同时实现了与最先进方法可比的结果。该项目可以在https://mirgahney.github.io//DynamicSurf.io/ 上获得。值得注意的是，DynamicSurf的规范表示和神经变形场的设计是该论文的亮点之一。

最近的相关研究包括：DeepSDF, Occupancy Networks, Neural Implicit Representations等。