DepthSplat: Connecting Gaussian Splatting and Depth

高斯点绘和单视图或多视图深度估计通常被孤立地研究。在本文中，我们提出了DepthSplat，将高斯点绘和深度估计联系起来，并研究它们之间的相互作用。具体来说，我们首先通过利用预训练的单目深度特征，贡献了一个鲁棒的多视图深度模型，从而实现了高质量的前馈3D高斯点绘重建。我们还展示了高斯点绘可以作为从大规模未标注数据集中学习强大深度模型的无监督预训练目标。我们通过广泛的消融实验和跨任务迁移实验验证了高斯点绘和深度估计之间的协同效应。我们的DepthSplat在ScanNet、RealEstate10K和DL3DV数据集上均取得了最先进的性能，无论是深度估计还是新视图合成，都展示了将这两个任务连接起来的互惠互利。我们的代码、模型和视频结果可在以下网址获取：https://haofeixu.github.io/depthsplat/。

该论文试图解决Gaussian splatting和深度估计通常被孤立研究的问题，并探索两者之间的相互作用，以提高3D重建和深度估计的性能。这是一个相对较新的问题，旨在通过结合两种技术的优势来提升视觉任务的效果。

论文的关键思路是通过预训练的单目深度特征构建一个鲁棒的多视图深度模型，从而实现高质量的前馈3D Gaussian splatting重建。同时，论文提出Gaussian splatting可以作为无监督预训练目标，从大规模未标注数据集中学习强大的深度模型。这种双向促进的方法在现有研究中较为新颖。

论文通过广泛的消融实验和跨任务转移实验验证了Gaussian splatting和深度估计之间的协同效应。实验在ScanNet、RealEstate10K和DL3DV等数据集上展示了DepthSplat在深度估计和新视角合成方面的最先进性能。此外，作者提供了代码、模型和视频结果，便于复现和进一步研究。未来可以探索更多未标注数据集的应用，以及与其他视觉任务的结合。

最近在这个领域中，相关的研究包括： - "Monocular Depth Estimation with Deep Learning: A Survey" (2021) - "Learning to Reconstruct 3D Models from Images with Gaussian Splatting" (2020) - "Multi-View Depth Estimation via Consistent Surface Reconstruction" (2022) 这些研究分别探讨了单目深度估计、Gaussian splatting在3D重建中的应用，以及多视图深度估计的一致性表面重建方法。