SuperPrimitive: Scene Reconstruction at a Primitive Level

联合摄像机姿态和稠密几何估计仍然是一个具有挑战性的问题，因为它的计算复杂度和内在的视觉歧义。大多数密集增量重建系统直接处理图像像素，并使用多视角几何线索解决它们的三维位置。这种像素级的方法容易出现歧义或违反多视角一致性（例如由无纹理或有光泽的表面引起的问题）。 我们通过一种新的图像表示来解决这个问题，我们称之为“超级基元”。超级基元通过将图像分成语义相关的局部区域，并使用最先进的单张图像神经网络预测的表面法线方向来增强它们而获得。这为每个超级基元提供了局部几何估计，而它们的相对位置则根据多视角观察进行调整。 我们通过解决三个三维重建任务（深度完成、少视角结构运动和单目稠密视觉里程计）展示了我们新表示法的多功能性。

本文试图解决从图像或单目视频中进行联合相机姿态和密集几何重建的问题，该问题由于计算复杂性和固有的视觉模糊而具有挑战性。

本文提出了一种新的图像表示方式，称为SuperPrimitive，通过将图像分成语义相关的局部区域并使用最先进的单图像神经网络预测的表面法线方向进行增强来获得。这为每个SuperPrimitive提供了局部几何估计，而它们的相对位置则基于多视图观察进行调整。

本文展示了新表示法的多种用途，包括深度完成、少视角运动结构和单目密集视觉里程计。实验使用了多个数据集，并且开源了代码。

最近在这个领域中，还有一些相关的研究，例如：《Learning to Reconstruct 3D Manhattan Wireframes from a Single Image》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。