MGFs: Masked Gaussian Fields for Meshing Building based on Multi-View Images

在过去的几十年中，基于图像的建筑表面重建已经引起了相当大的研究兴趣，并已经应用于各个领域，如文化遗产保护、建筑规划等。与传统的摄影测量和基于NeRF的解决方案相比，最近，基于高斯场的方法在生成表面网格方面展现出了显著的潜力，因为它们具有时间高效的训练和详细的三维信息保留。然而，大多数基于高斯场的方法都是用所有图像像素进行训练，包括建筑和非建筑区域，这导致建筑网格的显著噪声和时间效率的退化。本文提出了一种新的框架，称为掩蔽高斯场（MGFs），旨在以高效的方式生成准确的建筑表面重建。该框架首先应用EfficientSAM和COLMAP生成建筑的多级掩蔽和相应的掩蔽点云。随后，通过集成两种创新的损失函数来训练掩蔽高斯场：一个多级感知掩蔽损失，专注于构建建筑区域，以及一个边界损失，旨在增强不同掩蔽之间边界的细节。最后，我们改进了基于掩蔽高斯球的四面体表面网格提取方法。对无人机图像的全面实验表明，与传统方法和几种NeRF和高斯SOTA解决方案相比，我们的方法显著提高了建筑表面重建的准确性和效率。值得注意的是，作为副产品，还有一个新的建筑物视图合成的收益。

本论文旨在提出一种新的框架，Masked Gaussian Fields (MGFs)，用于在时间效率和准确性方面生成建筑表面重建。现有的高斯场方法在训练时使用所有图像像素，包括建筑和非建筑区域，导致建筑网格噪声显著，并且时间效率降低。

MGFs框架首先使用EfficientSAM和COLMAP生成建筑物的多级掩模和相应的掩模点云。然后，通过集成两种创新损失来训练掩模高斯场：一种多级感知掩模损失，专注于构建建筑区域，一种边界损失，旨在增强不同掩模之间边界的细节。最后，基于掩模高斯球改进了四面体表面网格提取方法。

论文在UAV图像上进行了全面的实验，结果表明，与传统方法以及几种NeRF-based和Gaussian-based SOTA解决方案相比，我们的方法显著提高了建筑表面重建的准确性和效率。值得注意的是，作为副产品，新视图合成方面也有所提高。

最近的相关研究包括传统的摄影测量和NeRF-based解决方案，以及其他高斯场方法，如DeepSDF、IM-NET、DISN等。