$α$-SSC: Uncertainty-Aware Camera-based 3D Semantic Scene Completion

在自动驾驶（AV）感知领域中，理解三维场景对于规划和制图等任务至关重要。语义场景完成（SSC）旨在从有限的观测中推断场景几何和语义。虽然基于相机的SSC因其价格实惠和丰富的视觉线索而变得流行，但现有方法常常忽略模型中固有的不确定性。为了解决这个问题，我们提出了一种基于相机的3D语义场景完成方法（$\alpha$-SSC），该方法考虑了模型中的不确定性。我们的方法包括一个不确定性传播框架（Depth-UP）从深度模型到几何完成（最高提高了11.58%）和语义分割（最高提高了14.61%）。此外，我们提出了一种分层可信预测（HCP）方法来量化SSC的不确定性，有效地解决了SSC数据集中高级别类别不平衡的问题。在几何层面上，我们提出了一种基于KL散度的评分函数，显著提高了安全关键类别的占用召回率（提高了45%），并且性能开销很小（减少了3.4%）。对于不确定性量化，我们展示了在保持定义的覆盖保证的情况下实现更小的预测集大小的能力。与基线相比，它可以实现高达85%的集合大小减少。我们的贡献共同标志着SSC准确性和鲁棒性的重大进步，是自主感知系统的一个值得注意的进步。

解决问题：论文旨在解决自动驾驶感知中的3D场景理解问题，提出一种基于相机的不确定性感知的3D语义场景完成方法。

关键思路：论文提出了一种从深度模型到几何和语义分割的不确定性传播框架（Depth-UP），并使用分层一致性预测（HCP）方法量化场景完成的不确定性。此外，论文提出了一种基于KL散度的得分函数来提高安全关键类别的占用召回率，并实现了更小的预测集大小。

其他亮点：论文的实验结果表明，该方法在几何完成和语义分割方面都取得了显著的改善，且能够有效地量化不确定性。论文还使用多个数据集进行了实验，并提供了开源代码。

相关研究：最近的相关研究包括："3D场景理解"，"语义场景完成"，"相机感知"等。