Part2Object: Hierarchical Unsupervised 3D Instance Segmentation

本文介绍了一种无监督的三维实例分割方法，旨在从三维点云中分割出物体而不需要任何注释。现有的方法面临着聚类过于松散或过于紧密的挑战，导致欠分割或过分割。为了解决这个问题，我们提出了一种名为Part2Object的方法，它是一种带有物体引导的分层聚类方法。Part2Object从点到物体部分和物体的多层聚类，使物体可以在任何层次上显现。此外，它从时间上连续的2D RGB帧中提取和利用三维物体先验知识来指导聚类过程。此外，我们提出了Hi-Mask3D来支持分层的三维物体部分和实例分割。通过在Part2Object提取的物体和物体部分上训练Hi-Mask3D，我们在各种设置下实现了与最先进模型相比一致且优越的性能，包括无监督实例分割、数据有效微调和跨数据集的泛化。代码发布在https://github.com/ChengShiest/Part2Object。

本篇论文旨在解决无监督3D实例分割中过度或不足分割的问题，提出了一种基于对象引导的分层聚类方法Part2Object，以及支持分层3D对象部分和实例分割的Hi-Mask3D。

Part2Object采用多层次聚类方法，从点到对象部分和对象进行聚类，同时提取并利用来自连续2D RGB帧的3D对象先验知识来指导聚类过程。Hi-Mask3D则通过在Part2Object提取的对象和对象部分上进行训练，实现了一致且优秀的性能表现。

本文的实验表明，Part2Object与Hi-Mask3D在无监督实例分割、数据有效微调和跨数据集泛化等各种设置中均表现出一致且优秀的性能。此外，作者还在GitHub上开源了代码。

与本文相关的研究包括：1. PointGroup：基于点云分组的无监督实例分割；2. SO-Net：基于深度学习的3D对象检测和分割；3. DPC：基于深度学习的点云压缩。