AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction

实现逼真的场景重建和视图合成对于推动自动驾驶系统模拟安全关键场景至关重要。3D高斯点插值在实时渲染和静态场景重建方面表现出色，但由于复杂的背景、动态物体和稀疏视图，它在建模驾驶场景时面临困难。我们提出了AutoSplat框架，采用高斯点插值来实现高度逼真的自动驾驶场景重建。通过对代表道路和天空区域的高斯函数施加几何约束，我们的方法能够实现多视角一致的模拟，包括车道变换等具有挑战性的场景。利用3D模板，我们引入了反射高斯一致性约束，以监督前景物体的可见和不可见侧。此外，为了模拟前景物体的动态外观，我们为每个前景高斯估计残差球面谐函数。在Pandaset和KITTI上的广泛实验表明，AutoSplat在各种驾驶场景中的场景重建和新颖视角合成方面优于现有的方法。请访问我们的项目页面https://autosplat.github.io/。

论文旨在解决自动驾驶场景重建和视图合成中的挑战，包括复杂背景、动态物体和稀疏视角等问题。

论文提出了AutoSplat框架，利用高斯平面投影实现高度逼真的自动驾驶场景重建和视图合成。通过对代表道路和天空区域的高斯函数施加几何约束，实现多视角一致的模拟，同时引入反射高斯函数一致性约束来监督前景物体的可见和不可见侧。此外，为了模拟前景物体的动态外观，为每个前景高斯函数估计残差球谐系数。

论文在Pandaset和KITTI数据集上进行了广泛实验，证明AutoSplat在各种自动驾驶场景中的场景重建和新视图合成方面优于现有方法。论文提供了项目页面和开源代码。

与此相关的研究包括：《Multi-View 3D Object Detection Network for Autonomous Driving》、《Joint 3D Proposal Generation and Object Detection from View Aggregation》等。