3D Building Reconstruction from Monocular Remote Sensing Images with Multi-level Supervisions

三维建筑重建是一项重要而具有挑战性的研究问题，近年来受到越来越多的关注，因为它具有低成本的数据获取和大规模应用的可用性。然而，现有方法依赖于昂贵的三维标注样本进行全监督训练，限制了它们在大规模跨城市场景下的应用。在本研究中，我们提出了MLS-BRN，一种多级监督建筑重建网络，可以灵活地利用具有不同注释级别的训练样本，以端到端的方式实现更好的重建结果。为了减轻对完整三维监督的需求，我们设计了两个新模块，伪建筑Bbox计算器和屋顶偏移引导的足迹提取器，以及针对不同类型样本的新任务和训练策略。在几个公共和新数据集上的实验结果表明，我们提出的MLS-BRN使用更少的三维标注样本就能实现竞争性能，并且相比当前最先进技术，显著提高了足迹提取和三维重建性能。本研究的代码和数据集将在https://github.com/opendatalab/MLS-BRN.git上发布。

解决问题：论文提出了一种新的方法，旨在解决单目遥感图像的三维建筑重建问题，减少对昂贵的三维标注样本的需求。

关键思路：论文提出了一个多级监督建筑重建网络（MLS-BRN），可以利用不同注释级别的训练样本，通过两个新模块和不同类型样本的新任务和训练策略，以端到端的方式实现更好的建筑重建结果。

其他亮点：论文使用公共和新数据集进行实验，证明了MLS-BRN相对于现有技术具有更好的性能和更少的3D标注样本需求。此外，该论文的代码和数据集将在Github上开源。

相关研究：在这个领域的相关研究包括：Deep Multi-Task Learning for Joint Prediction of 3D Object Detection and Semantic Segmentation，Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding，以及3D Building Reconstruction from Aerial LiDAR and Optical Images with Multi-Task Learning等。