MAP-ADAPT: Real-Time Quality-Adaptive Semantic 3D Maps

创建环境的三维语义重建对许多应用至关重要，特别是与自主代理操作相关的应用（例如目标导航或对象交互和操作）。通常，三维语义重建系统以相同的细节级别捕捉整个场景。然而，某些任务（例如对象交互）需要精细且高分辨率的地图，特别是如果要交互的对象尺寸较小或几何形状复杂。在最近的实践中，这导致整个地图具有相同的高质量分辨率，这导致计算和存储成本增加。为了解决这个挑战，我们提出了MAP-ADAPT，这是一种使用RGBD帧进行实时质量自适应语义三维重建的方法。MAP-ADAPT是第一个自适应语义三维映射算法，与之前的工作不同，它根据场景的语义信息和几何复杂性直接生成具有不同质量区域的单个地图。利用语义SLAM管道进行姿态和语义估计，我们在合成和实际数据上实现了与最先进方法相当或更好的结果，同时显着减少了存储和计算要求。

本论文旨在解决3D语义重建中的质量自适应问题，即在高分辨率下仅对需要的区域进行高质量重建，以降低计算和存储成本。

提出了一种基于语义信息和几何复杂度的质量自适应3D语义重建方法MAP-ADAPT，通过语义SLAM实现姿态和语义估计，生成具有不同质量区域的单一地图，可在合成和实际数据上实现与现有方法相当或更好的结果。

该方法在实验中取得了良好的效果，并显著降低了计算和存储成本。论文还提供了数据集和开源代码供研究者使用。

在3D语义重建领域，近期还有一些相关研究，如《SemanticFusion: Dense 3D semantic mapping with convolutional neural networks》和《3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans》等。