SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

解决问题： 该论文旨在解决现有方法在重建非刚性变形对象时忽略对应关系的问题，提出了一种名为SceNeRFlow的方法，以实现时间一致的重建。

关键思路： SceNeRFlow方法采用动态神经辐射场（dynamic-NeRF）方法，以多视角RGB视频和静态相机的背景图像为输入，以在线方式重建几何和外观的估计规范模型的变形。由于该规范模型是时间不变的，因此即使是长期、长距离的运动也可以获得对应关系。该方法将神经场表示用于参数化方法的组件，并使用向后变形模型。相比于先前的动态NeRF方法，该方法采用了一些非平凡的改进，以处理更大的运动，如将变形分解为强烈正则化的粗糙组件和弱正则化的细粒度组件，其中粗糙组件还将变形场扩展到对象周围的空间，从而实现了跨时间的跟踪。

其他亮点： 该论文的实验结果表明，与仅处理小运动的先前工作相比，该方法使得可以重建规模更大的动态场景。然而，论文并未提供开源代码或数据集，但该方法的改进和应用值得进一步研究。

关于作者： Edith Tretschk、Vladislav Golyanik、Michael Zollhoefer、Aljaz Bozic、Christoph Lassner和Christian Theobalt是本文的主要作者。他们分别来自德国马克斯·普朗克计算机科学研究所、斯洛文尼亚国立大学、德国马克斯·普朗克视觉计算与机器学习研究组以及萨尔兰州大学计算机图形学和计算机视觉研究组等机构。这些作者之前的代表作包括：《Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes》、《State of the Art on Neural Rendering》、《Learning to Reconstruct People in Clothing from a Single RGB Camera》等。

相关研究： 近期的其他相关研究包括：《Neural Scene Flow Fields》（Simonelli等人，斯坦福大学）、《Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction》（Tewari等人，亚琛工业大学）、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》（Park等人，卡内基梅隆大学）等。

论文摘要：现有的针对一般非刚性变形物体的4D重建方法主要关注新视角合成而忽略了对应关系。然而，时间一致性可以实现先进的下游任务，如3D编辑、运动分析或虚拟资产创建。我们提出了SceNeRFlow，以时间一致的方式重建一般的非刚性场景。我们的动态NeRF方法使用已知相机参数的多视角RGB视频和静态背景图像作为输入。然后，它以在线方式重建几何和外观的估计规范模型的变形。由于这个规范模型是时间不变的，即使对于长期和长距离的运动，我们也可以获得对应关系。我们使用神经场景表示来参数化我们的方法的组件。与先前的动态NeRF方法一样，我们使用一个向后变形模型。我们发现需要对这个模型进行非平凡的适应才能处理更大的运动：我们将变形分解为一个强烈正则化的粗糙分量和一个弱正则化的细分量，其中粗糙分量也将变形场扩展到物体周围的空间，从而实现了随时间的跟踪。我们通过实验证明，与只能处理小运动的先前工作不同，我们的方法可以重建大型运动的场景。

内容中包含的图片若涉及版权问题，请及时与我们联系删除