【论文标题】Unsupervised Representation Learning for Point Clouds: A Survey

【作者团队】Aoran Xiao, Jiaxing Huang, Dayan Guan, Shijian Lu

【发表时间】2022/02/28

【机 构】南洋理工

【论文链接】https://arxiv.org/abs/2202.13589v1

【资源链接】https://github.com/xiaoaoran/3d_url_survey

由于点云数据在各种不利情况下具有卓越的准确性和鲁棒性，它已被广泛探索。同时，深度神经网络在监控和自动驾驶等各种应用中取得了非常惊人的成功。点云和深度学习的融合导致了许多深度点云模型的出现，这些模型主要是在大规模和密集标记的点云数据的监督下训练的。预训练无监督的点云表征学习，旨在从无标签的点云数据中学习一般的和有用的点云表征，由于大规模点云标签的限制而引起了越来越多的关注。本文对预训练无监督点云表征学习进行了全面回顾。它首先描述了最近研究的动机、一般管道以及术语。然后简要介绍了相关背景，包括广泛采用的点云数据集和深度学习架构。随后，根据技术方法对现有的无监督点云表征学习方法进行了广泛的讨论。本文还在多个广泛采用的点云数据集上对所审查的方法进行了定量的基准测试和讨论。最后，本文分享了本文对无监督点云表征学习的几个挑战和问题的拙见，这些挑战和问题可以在未来的研究中得到解决。

上图展示了点云上的无监督表征学习的流程。深度神经网络首先通过对某些预定义任务的无监督学习，用未注释的点云进行预训练，然后学习到的无监督点云表征被转移到各种下游任务中进行，以提供网络初始化，随后预训练的网络模型可以通过少量的特定任务的点云数据进行有效微调。

上图展示了本文的关于点云表征学习的框架构建，包括，

1.生成模型，基于生成的无监督的点云表征学习方法涉及生成点云对象的过程，可以进一步归纳为四个子类别，包括点云自我重建（生成与输入相同的点云对象）、点云GAN（生成假的点云对象）、点云上采样（生成形状相似但比输入密集的点云）和点云补全（从部分点云对象预测缺少的部分）。训练这些方法的基础事实是点云本身不需要人类的注释，可以被视为无监督的学习方法。

2.背景方法，另一类无监督的点云学习方法是基于背景的方法。与通过生成点云来学习的基于生成的方法不同，这些方法采用判别性的预文本任务来学习点云的不同背景，包括背景相似性、空间背景结构和时间背景结构。

3.多模态方法，多模态（图像和自然语言描述）能够为点云数据提供额外的信息，这有助于为点云训练更好的表征学习模型。不同模态之间的对应关系也可以作为无监督学习的监督。

4.局部描述符方法，前三种方法旨在学习点云的语义结构以获得高层次的理解，而基于局部描述符的方法则专注于从点云中学习低层次信息。比如PPF-FoldNet提取旋转不变的三维局部描述符用于三维匹配。它继承了PointNet、FoldingNet和PPFNet，并为无监督的三维局部特征提取制定了一种新的方法。Jiang等人提出通过无监督的三维学习特征表示。他们设计了一种采样网络引导的交叉熵方法来寻找最佳的刚性变换，包括一个旋转矩阵和一个平移矢量，可以使源点云与目标精确对齐。

 

本文总结：

1）它对无监督点云表征学习的最新发展进行了全面回顾。
2）它讨论了无监督点云表征学习的最新进展，包括对多个公共数据集的现有方法进行全面的基准测试和讨论。
3）它分享了在无监督的点云表征学习中可以追求的几个研究挑战和潜在的研究方向。

内容中包含的图片若涉及版权问题，请及时与我们联系删除