UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos

我们提出了UniPlane，一种新颖的方法，它将单目视频中的平面检测和重建统一起来。与现有的方法不同，现有的方法从局部观察中检测平面，并在整个视频中将它们关联起来进行最终的重建。UniPlane将检测和重建任务统一在一个网络中，这使得我们可以直接优化最终的重建质量，并充分利用时间信息。具体而言，我们构建了一个基于Transformer的深度神经网络，共同构建环境的三维特征体积，并估计一组平面嵌入作为查询。UniPlane通过将体素嵌入和平面嵌入进行点积，然后进行二值化阈值处理，直接重建三维平面。在真实世界的数据集上进行的广泛实验表明，UniPlane在平面检测和重建任务方面优于现有的最先进方法，在几何方面的F分数达到+4.6，并在其他几何和分割度量方面稳定提高。

UniPlane论文旨在解决单目视频中平面检测和重建的问题，通过一个统一的网络来直接优化最终重建质量和充分利用时间信息。

UniPlane通过构建一个基于Transformer的深度神经网络，同时构建一个用于环境的3D特征体积和一组平面嵌入作为查询，直接重建3D平面，从而实现了平面检测和重建任务的统一。

论文在真实世界数据集上进行了广泛的实验，证明了UniPlane在几何形状和分割指标等方面都优于现有方法，并取得了+4.6的F-score。

与UniPlane相关的研究包括：1. PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image (CVPR 2020); 2. Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding (CVPR 2018); 3. Planar Reconstruction in the Wild (CVPR 2019)