LaRa: Efficient Large-Baseline Radiance Fields

辐射场方法已经实现了逼真的新视角合成和几何重建。但是它们大多数应用于每个场景的优化或小基线设置。虽然最近的一些工作通过利用变换器实现了具有大基线的前向重建，但它们都使用标准的全局注意机制，因此忽略了3D重建的局部性质。我们提出了一种方法，将局部和全局推理统一到变换器层中，从而实现了更高的质量和更快的收敛速度。我们的模型将场景表示为高斯体积，并将其与图像编码器和组注意力层相结合，以实现有效的前向重建。实验结果表明，我们的模型在四个GPU上训练两天后，在重建360度辐射场方面具有高保真度，并且对于零样本和域外测试具有鲁棒性。

本论文旨在解决transformer在大基线设置下的局部和全局推理问题，提出了一种融合局部和全局推理的transformer模型，用于360度辐射场重建。

论文提出了一种使用高斯体积表示场景，结合图像编码器和组注意力层的feed-forward重建方法，通过融合局部和全局推理的transformer层，提高了重建质量和收敛速度。

论文的实验结果表明，该模型在4个GPU上训练2天后，可以高保真地重建360度辐射场，并且对于零样本和域外测试具有鲁棒性。

最近的一些相关研究主要探讨了使用transformer进行大基线重建的方法，但它们都只使用标准的全局注意力机制，忽略了3D重建的局部性质。