UnO: Unsupervised Occupancy Fields for Perception and Forecasting

自动驾驶需要感知世界并预测其未来状态，这是一个关键任务。监督式方法利用带注释的对象标签学习世界模型，传统方法包括对象检测和轨迹预测，或者是时间序列的俯视图（BEV）占用场。然而，这些注释很昂贵，通常只限于一组预定义的类别，不能涵盖我们在路上可能遇到的所有情况。相反，我们学习使用LiDAR数据进行自我监督，感知和预测连续的四维（时空）占用场。这种无监督的世界模型可以轻松有效地转移到下游任务。我们通过添加轻量级的学习渲染器来解决点云预测，并在Argoverse 2、nuScenes和KITTI上实现了最先进的性能。为了进一步展示其可转移性，我们微调我们的模型以进行BEV语义占用预测，并表明它在超级有限标注数据的情况下优于完全监督的最先进方法。最后，与先前的时空几何占用预测最先进方法相比，我们的四维世界模型实现了更高的召回率，尤其是对于与自动驾驶相关的类别的对象。

如何在自动驾驶中实现对于连续的4D（时空）占据场的感知和预测，而无需昂贵的标注数据？

使用自监督学习从LiDAR数据中学习感知和预测连续的4D占据场，利用轻量级的学习渲染器实现点云预测，并在Argoverse 2、nuScenes和KITTI数据集上实现了最先进的性能。

使用自监督学习避免了昂贵的标注数据，同时提出了一种轻量级的学习渲染器。实验结果表明，在BEV语义占据预测方面，该模型优于全监督的最先进方法，特别是在标注数据稀缺的情况下。此外，在时空几何占据预测方面，该模型的召回率比与自动驾驶相关的类别的最先进方法高得多。

与该论文相关的研究包括：1.使用卷积神经网络对占据场进行预测的方法；2.使用基于图像的方法对自动驾驶场景进行建模的方法；3.使用点云数据进行自动驾驶场景建模的方法。