OccFiner: Offboard Occupancy Refinement with Hybrid Propagation

本文介绍了一种名为OccFiner的新型离线框架，旨在提高基于视觉的占用预测的准确性。基于视觉的占用预测，也称为3D语义场景完成（SSC），在计算机视觉中面临着重大挑战。先前的方法仅限于机载处理，难以同时进行几何和语义估计，在不同视角之间保持连续性，并处理单视图遮挡。OccFiner操作分为两个混合阶段：1）多对多本地传播网络，隐式对齐和处理多个局部帧以纠正机载模型误差，并在所有距离上一致增强占用精度。2）面向区域的全局传播，专注于使用显式的多视角几何和整合传感器偏差来细化标签，特别是提高远程占用体素的准确性。广泛的实验表明，OccFiner在各种粗糙占用类型上提高了几何和语义准确性，在SemanticKITTI数据集上创造了新的最先进性能。值得注意的是，OccFiner将基于视觉的SSC模型提升到了甚至超过基于LiDAR的机载SSC模型的水平。

本论文旨在提高基于视觉的占据预测（即3D语义场景完成）的准确性，解决现有方法在几何和语义估计、视角变化连续性和单视角遮挡方面的问题。

OccFiner框架包括两个混合阶段：1）多对多局部传播网络，隐式对齐和处理多个局部帧以纠正板载模型误差，从而在所有距离上始终提高占据准确性。2）以区域为中心的全局传播，利用显式的多视角几何和集成传感器偏差来精细化标签，特别是提高远处占据体素的准确性。

论文在SemanticKITTI数据集上进行了广泛实验，证明了OccFiner在各种类型的粗糙占据上提高了几何和语义准确性，创造了新的最先进性能。值得关注的是，OccFiner将基于视觉的SSC模型提升到了甚至超过基于LiDAR的板载SSC模型的水平。

在最近的相关研究中，还有一些论文值得关注，如“3D卷积神经网络的快速语义场景完成”和“3D语义重建：一个深度学习方法”等。