UNION: Unsupervised 3D Object Detection using Object Appearance-based Pseudo-Classes

无监督的三维物体检测方法已经出现，可以在不需要手动标注训练数据的情况下有效地利用大量数据。最近的方法依赖于动态物体来学习检测物体，但在训练过程中惩罚静态实例的检测。这种提高性能的训练过程需要多轮自我训练，将检测到的静态实例添加到训练目标集中，这是计算上昂贵的。为了解决这个问题，我们提出了UNION方法。我们使用空间聚类和自监督场景流来从LiDAR中获取一组静态和动态物体的提议。随后，通过编码物体提议的视觉外观来区分前景和背景中的静态物体，选择与动态物体视觉相似的静态实例。结果，前景的静态和动态物体可以一起获得，并且现有的检测器可以通过单个训练进行训练。此外，我们通过使用基于物体外观的聚类标签作为伪类标签来将三维物体发现扩展到检测，用于训练物体分类。我们在nuScenes数据集上进行了大量实验，并提高了无监督物体发现的最新性能，即UNION将平均精度提高了一倍以上，达到33.9。代码将公开发布。

论文旨在解决无监督三维物体检测中静态实例检测效果差的问题，提出了一种名为UNION的方法来同时得到前景和背景中的静态和动态物体，从而提高检测性能。

UNION方法通过使用空间聚类和自监督场景流获取一组静态和动态物体提案，然后对物体提案的视觉外观进行编码，以区分前景和背景中的静态物体，并选择与动态物体视觉相似的静态实例，从而同时得到前景和背景中的静态和动态物体，实现单次训练。

论文在nuScenes数据集上进行了广泛的实验，将无监督物体发现的平均精度提高到了33.9，是目前最先进的方法的两倍以上。论文将代码公开，值得进一步研究。

相关研究包括但不限于：《3D Object Proposals for Accurate Object Class Detection》、《Learning to Segment Every Thing》、《Frustum PointNets for 3D Object Detection from RGB-D Data》等。