Gaussian Splatting LK

从2D图像中重建动态3D场景并在时间上生成多样化的视角，由于涉及固有复杂性和时间动态而带来了显著挑战。虽然最近神经隐式模型和动态高斯喷洒技术的进展显示出了希望，但仍存在局限性，特别是在准确捕捉高度动态场景的基础几何形状方面。一些方法通过扩散模型结合强大的语义和几何先验来解决这个问题。然而，我们通过研究动态高斯喷洒框架内本地变形场的规范化潜力，探索了不同的途径。我们的方法基于一个关键的直觉，即准确的变形场应该产生连续的时空运动。虽然在变形场上强制运动约束是非常困难的，但我们展示了我们可以利用前向变形场网络内在的知识来推导出解析速度场，然后对场流进行时间积分，以有效地约束高斯函数的2D运动和3D位置。这种派生的类Lucas-Kanade解析规范化使我们的方法能够在重建高度动态场景方面实现卓越的性能，即使在最小的相机运动下，扩展了现有动态高斯喷洒框架的边界。

论文旨在解决从2D图像重构动态3D场景并生成多样化视角的问题。这是一个复杂的问题，尤其是在捕捉高度动态场景的基础几何形状方面存在局限性。

论文提出了一种新的方法，在动态高斯喷洒框架中规范本地warp场，以有效地约束高斯函数的2D运动和3D位置。这种基于Lucas-Kanade样式的分析规范化方法能够在最小相机移动下重建高度动态场景，并取得优异的性能。

论文的实验结果表明，这种方法可以在重建高度动态场景方面取得优异的性能。论文还使用了多个数据集进行实验，并提供了开源代码。这种方法还可以扩展到其他领域，值得进一步研究。

最近的相关研究包括使用神经隐式模型和动态高斯喷洒等方法重建动态场景。还有一些使用扩散模型等方法来加强语义和几何先验知识的研究。