TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers

与之前的3D重建方法（如Nerf）相比，最近的通用3D高斯点插值（G-3DGS）方法即使在稀疏视角下也展现出令人印象深刻的效率。然而，现有的G-3DGS方法的有前途的重建性能在很大程度上依赖于准确的多视图特征匹配，这是相当具有挑战性的。尤其是对于场景中各个视角之间存在许多非重叠区域并包含许多相似区域的情况，现有方法的匹配性能较差，重建精度受到限制。为了解决这个问题，我们开发了一种策略，利用预测的深度置信度图来引导精确的局部特征匹配。此外，我们建议利用现有单目深度估计模型的知识作为先验，以提高视角之间非重叠区域的深度估计精度。结合所提出的策略，我们提出了一种名为TranSplat的新型G-3DGS方法，该方法在保持竞争速度和展现强大的跨数据集泛化能力的同时，在RealEstate10K和ACID基准测试中获得了最佳性能。我们的代码和演示将在以下网址提供：https://xingyoujun.github.io/transplat。

本论文旨在解决现有G-3DGS方法在多视角特征匹配方面的局限性，尤其是在存在许多非重叠区域和相似区域的场景中的重建精度问题。

本论文提出了一种利用预测的深度置信度图来指导准确的局部特征匹配的策略，并利用现有单目深度估计模型的知识作为先验来提高视角之间非重叠区域的深度估计精度。

论文提出的方法名为TranSplat，在RealEstate10K和ACID基准测试中取得了最佳性能，同时保持了竞争速度和强大的跨数据集泛化能力。研究人员提供了代码和演示，并使用了多个数据集进行实验验证。

最近在这个领域中，还有一些相关研究，如NeRF（Neural Radiance Fields）等。