KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter

我们介绍了KFD-NeRF，这是一种新颖的动态神经辐射场，集成了基于卡尔曼滤波的高效高质量运动重建框架。我们的关键思想是将动态辐射场建模为一个动态系统，其时间变化的状态是基于两种知识来源进行估计的：观测和预测。我们引入了一个新颖的插件卡尔曼滤波引导变形场，它能够从场景观测和预测中准确地估计变形。我们使用一个浅层的多层感知机(MLP)来进行观测，并将运动建模为局部线性，通过运动方程计算预测。为了进一步提高观测MLP的性能，我们在规范空间中引入正则化，以便网络学习不同帧的扭曲。此外，我们采用高效的三平面表示来编码规范空间，经实验证明，它能够快速收敛且具有高质量。这使我们能够使用一个更浅的观测MLP，在我们的实现中仅包含两层。我们在合成和实际数据上进行实验，并与过去的动态NeRF方法进行比较。我们的KFD-NeRF在相当的计算时间内展示了类似或更好的渲染性能，并且通过彻底的训练实现了最先进的视图合成性能。

KFD-NeRF论文试图解决的问题是动态神经辐射场的高效运动重建和视图合成问题。这个问题是当前领域的一个新问题。

KFD-NeRF的关键思路是将动态辐射场建模为一个动态系统，通过观察和预测来估计其时间变化状态。论文提出了一个新的插件卡尔曼滤波引导形变场，实现了从场景观察和预测中准确的形变估计。此外，论文采用了一个高效的三平面表示来编码规范空间，进一步提高了性能。

论文的实验结果表明，KFD-NeRF在可比的计算时间内表现出类似或甚至更好的渲染性能，并在视图合成方面实现了最先进的性能。此外，论文还介绍了实验设计，使用的数据集和开源代码等细节，为后续研究提供了参考。

在这个领域中，最近的相关研究包括Dynamic NeRF、Neural Body、DeepSDF等。