pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

我们介绍了pixelSplat，这是一个前向模型，可以从图像对中学习重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展的训练，同时在推理时可以快速进行3D重建。为了克服稀疏和局部支持表示固有的局部极小值，我们在3D上预测了一个密集的概率分布，并从该概率分布中对高斯均值进行采样。我们通过重新参数化技巧使这个采样操作可微分，从而可以通过高斯喷洒表示反向传播梯度。我们在真实世界的RealEstate10k和ACID数据集上进行了宽基线新视角合成的基准测试，在这些测试中，我们的方法优于最先进的光场变换器，并将渲染加速了2.5个数量级，同时重建了一个可解释和可编辑的3D辐射场。

论文旨在使用3D高斯基元从图像对中重建3D辐射场，解决广角新视角综合的问题，并提出了实时和内存高效的渲染方法。

论文的关键思路是使用高斯基元对3D辐射场进行重建，并通过预测概率分布和可微分的重参数化技巧实现了可反向传播的高斯分布采样，从而解决了局部最小值的问题。

论文使用RealEstate10k和ACID数据集进行了广角新视角综合的实验，并取得了比现有方法更好的效果。同时，论文提出的方法还实现了实时和内存高效的渲染，并且重建结果可解释和可编辑。

与该论文相关的研究包括光场变换器等现有方法，以及使用深度学习进行3D场重建的其他相关论文，如《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》。