OccFiner: Offboard Occupancy Refinement with Hybrid Propagation

本文介绍了一种名为OccFiner的新型离线框架，旨在增强基于视觉的占据预测的准确性。基于视觉的占据预测也称为三维语义场景完成（SSC），在计算机视觉中具有重要挑战。以前的方法只能进行机载处理，难以同时进行几何和语义估计，在不同视角下保持连续性，并且单视图遮挡。OccFiner分为两个混合阶段：1）多对多局部传播网络隐式对齐和处理多个局部帧，以纠正机载模型误差，并在所有距离上始终提高占据准确性。2）以区域为中心的全局传播，侧重于使用显式的多视角几何和集成传感器偏差来细化标签，特别是提高远程占据体素的准确性。广泛的实验表明，OccFiner提高了各种类型的粗糙占据的几何和语义准确性，在SemanticKITTI数据集上取得了新的最先进性能。值得注意的是，OccFiner将基于视觉的SSC模型提升到了甚至超过基于LiDAR的机载SSC模型的水平。

该论文旨在提高基于视觉的占据预测的准确性，解决先前方法在几何和语义估计、视角变化和单视角遮挡方面的问题。这是否是一个新问题？

OccFiner是一个新的离线框架，通过多个局部帧的隐式对齐和处理来纠正板载模型误差并在所有距离上一致地提高占用精度。该框架还使用显式的多视角几何和集成传感器偏差来改进标签的区域中心全局传播。

论文通过实验表明，OccFiner提高了各种类型的粗糙占据的几何和语义准确性，在SemanticKITTI数据集上取得了新的最佳表现。值得关注的是，OccFiner将基于视觉的SSC模型提升到了甚至超过基于LiDAR的板载SSC模型的水平。

最近的相关研究包括：1）基于神经网络的3D语义分割；2）基于LiDAR的占据预测；3）基于视觉的占据预测。