Self-Calibrating Gaussian Splatting for Large Field of View Reconstruction

在本文中，我们提出了一种自校准框架，该框架联合优化相机参数、镜头畸变和3D高斯表示，从而实现准确且高效的场景重建。特别是，我们的技术能够从广角镜头拍摄的大幅视场（FOV）图像中进行高质量的场景重建，使得可以从较少数量的图像中建模场景。我们的方法引入了一种新颖的技术，用于使用结合了可逆残差网络与显式网格的混合网络来建模复杂的镜头畸变。这种设计有效地规范了优化过程，比传统的相机模型具有更高的准确性。此外，我们提出了一种基于立方体贴图的重采样策略，以支持大视场图像，而不牺牲分辨率或引入畸变伪影。我们的方法与高斯点绘制的快速光栅化兼容，适应各种相机镜头畸变，并在合成和真实世界数据集上展示了最先进的性能。

该论文旨在解决从大视场角（FOV）图像中进行高效且准确的场景重建问题，特别是使用广角镜头拍摄的图像。传统的相机模型在处理此类图像时容易引入失真，需要大量的图像来重建场景，而本研究试图通过优化相机参数、镜头畸变和3D高斯表示来减少所需图像数量并提高重建质量。

关键思路在于提出了一种自校准框架，该框架能够联合优化相机参数、镜头畸变和3D高斯表示，从而实现高质量的场景重建。作者引入了一种新的混合网络设计，结合了可逆残差网络与显式网格，以有效建模复杂的镜头畸变。此外，还提出了基于立方体贴图的重采样策略，支持大视场角图像而不损失分辨率或引入失真伪影。这种方法不仅提高了重建的准确性，还兼容快速的高斯点绘（Gaussian Splatting）光栅化。

亮点包括：1) 提出的混合网络设计有效地正则化了优化过程，显著提高了精度；2) 立方体贴图重采样策略确保了大视场角图像的质量；3) 方法适用于各种类型的相机镜头畸变，并展示了在合成和真实数据集上的最新性能；4) 实验验证了方法的有效性，使用了多种数据集，但未提及是否开源代码。未来值得深入研究的方向包括进一步优化算法效率和扩展到更多种类的畸变类型。

最近的相关研究包括：1)《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》探索了神经辐射场在视图合成中的应用；2)《MVSNet: Depth Inference for Unstructured Multi-View Stereo》关注多视角立体深度推断；3)《Deep Fundamental Matrix Estimation》探讨了深度学习在基础矩阵估计中的应用；4)《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》介绍了插值基的可微渲染器在3D物体预测中的应用。这些研究共同推动了计算机视觉和3D重建领域的发展。