pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

我们介绍了pixelSplat，这是一个前向模型，它学习从图像对中重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染，可实现可扩展的训练以及快速的3D重建推理。为了克服稀疏和局部支持表示固有的局部极小值，我们预测了3D上的密集概率分布，并从该概率分布中采样高斯均值。我们通过重新参数化技巧使这个采样操作可微分，从而使我们能够通过高斯喷洒表示反向传播梯度。我们在真实世界的RealEstate10k和ACID数据集上对我们的方法进行了广泛的基线新视角合成基准测试，在这些测试中，我们的方法表现优于最先进的光场变换器，并且在重建可解释和可编辑的3D辐射场的同时加速渲染2.5个数量级。

本论文旨在通过像素状的3D高斯原理重建3D辐射场，以及在宽基线新视角合成任务上超越现有技术。

通过预测3D的密集概率分布并从中采样高斯均值来解决稀疏和局部支持表示中的局部最小值问题，并通过重参数化技巧使采样操作可微分，从而实现反向传播。

论文提出了一种名为pixelSplat的模型，具有实时和内存高效的渲染，可用于可扩展的训练和快速3D重建。在RealEstate10k和ACID数据集上进行的实验表明，pixelSplat在宽基线新视角合成任务上超越了现有技术，并且加速了渲染2.5个数量级，同时重建出可解释和可编辑的3D辐射场。

最近的相关研究包括光场变换器和其他基于神经网络的3D重建方法，如Occupancy Networks和DeepSDF。