AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction

实现逼真的场景重建和视角合成对于推进自主驾驶系统至关重要，因为它们可以模拟安全关键场景。3D高斯点插值在实时渲染和静态场景重建方面表现出色，但由于复杂的背景、动态物体和稀疏视角，它在建模驾驶场景方面遇到了困难。我们提出了AutoSplat框架，采用高斯点插值技术实现高度逼真的自主驾驶场景重建。通过对代表道路和天空区域的高斯函数施加几何约束，我们的方法实现了多视角一致的模拟，包括车道变换等具有挑战性的场景。利用3D模板，我们引入了反射高斯函数一致性约束，以监督前景物体的可见和不可见的两侧。此外，为了模拟前景物体的动态外观，我们为每个前景高斯函数估计了残差球谐函数。在Pandaset和KITTI上进行的大量实验表明，AutoSplat在各种驾驶场景中的场景重建和新视角合成方面优于现有的最先进方法。请访问我们的$\href{https://autosplat.github.io/}{\text{项目页面}}$。

论文旨在解决实现高度逼真的自动驾驶场景重建和视角合成的问题，以模拟关键安全场景。

论文提出了AutoSplat框架，采用高斯光斑技术实现高度逼真的自动驾驶场景重建和视角合成。通过对代表道路和天空区域的高斯函数施加几何约束，使得模拟车道变换等复杂场景成为可能。使用3D模板，引入反射高斯函数一致性约束来监督前景物体的可见和不可见侧。此外，为了模拟前景物体的动态外观，为每个前景高斯函数估计残余球谐函数。

论文在Pandaset和KITTI数据集上进行了广泛实验，证明AutoSplat在各种自动驾驶场景的场景重建和新视角合成方面优于现有方法。论文还提供了开源代码和项目页面。值得进一步研究的是如何进一步提高重建和合成的精度和效率。

在这个领域中，最近的相关研究包括： 1. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation 2. Neural Volumes: Learning Dynamic Renderable Volumes from Images 3. Multi-View to Novel View: Synthesizing Novel Views with Self-Learned Confidence