Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function

Semantic Scene Completion（SSC）的目标是联合推断3D场景的语义和占用情况。截断有符号距离函数（TSDF）是SSC的常见输入，它是深度的3D编码。此外，RGB-TSDF融合似乎很有前途，因为这两种模态分别提供颜色和几何信息。然而，RGB-TSDF融合被认为是非常棘手的，常用的简单加法会导致不一致的结果。我们认为不一致性来自于将RGB特征投影到3D空间中时的稀疏性，而TSDF特征是密集的，导致特征图不平衡。为了解决RGB-TSDF分布差异，我们提出了一个两阶段网络，其中包括一个3D RGB特征完成模块，用于为遮挡区域完成RGB特征的有意义的值。此外，我们提出了一种有效的类别熵损失函数来惩罚不一致性。在公共数据集上进行的大量实验验证了我们的方法在不采用额外数据的方法中实现了最先进的性能。

论文旨在解决Semantic Scene Completion (SSC)中RGB-TSDF融合的不一致性问题，提出了一个新的两阶段网络解决方案。

论文提出了一个3D RGB feature completion module来解决RGB-TSDF融合中的不一致性问题，并使用了一个有效的classwise entropy loss function来惩罚不一致性。

论文在公共数据集上进行了广泛的实验验证，证明了该方法在不使用额外数据的情况下达到了同类方法中的最佳性能。值得关注的是，论文提出的3D RGB feature completion module可以为遮挡区域提供有意义的RGB特征，从而解决了RGB-TSDF融合中的不一致性问题。

最近的相关研究包括："3D Semantic Scene Completion: A Survey"、"Scene Completion Using Millions of Photographs"等。