Improving 3D Occupancy Prediction through Class-balancing Loss and Multi-scale Representation

3D环境识别对自动驾驶系统至关重要，因为自动驾驶汽车需要全面了解周围的场景。最近，定义这个现实问题的主要方法是通过3D占用预测。它试图预测3D空间中所有体素的占用状态和语义标签，以增强感知能力。基于鸟瞰图的感知已经在这个任务中取得了最先进的表现。然而，这种架构无法表示各种比例的鸟瞰图特征。在本文中，受到UNet在语义分割任务中的成功启发，我们引入了一种新颖的类似于UNet的多尺度占用头模块来缓解这个问题。此外，我们提出了平衡类别损失来补偿数据集中的稀有类别。在nuScenes 3D占用挑战数据集上的实验结果显示，我们提出的方法优于基线和最先进的方法。

该论文旨在解决自动驾驶系统中的3D环境识别问题，通过预测3D空间中所有体素的占用状态和语义标签来增强感知能力。

论文提出了一种新的UNet-like多尺度占用头模块，以解决现有基于Birds-Eye-View的方法无法表示不同尺度的BEV特征的问题，并提出了类平衡损失来补偿数据集中罕见类别的不足。

论文在nuScenes 3D占用挑战数据集上进行了实验，结果表明该方法优于基线和SOTA方法。值得关注的是，论文的实验设计充分，使用了开源数据集和代码，并提出了新的解决方案，为该领域的研究提供了新思路。

与该论文相关的研究包括基于3D卷积神经网络的语义分割方法，如PointNet和VoxelNet等。