3x2: 3D Object Part Segmentation by 2D Semantic Correspondences

三维物体部分分割在计算机视觉应用中是至关重要的。虽然在二维物体部分分割方面已经取得了重大进展，但是由于收集标注的三维数据集成本高昂，三维物体部分分割得到的关注较少。在本研究中，我们提出了一种利用少量标注的三维形状或富有标注的二维数据集来执行三维物体部分分割的方法。我们提出了一种新颖的方法，称为3-By-2，它在不同的基准测试中以各种细粒度水平实现了SOTA性能。通过使用预训练基础模型的特征和利用语义和几何对应关系，我们能够克服有限的三维注释所带来的挑战。我们的方法利用可用的二维标签，实现了有效的三维物体部分分割。我们的方法3-By-2可以适应各种部分分类和粒度，并展示了在不同物体类别之间的有趣的部分标签转移能力。项目网站：\url{https://ngailapdi.github.io/projects/3by2/}。

论文旨在解决3D对象部分分割领域中数据集稀缺的问题，提出了一种利用少量3D标注或丰富的2D数据集来进行3D对象部分分割的方法。

该方法利用预训练基础模型的特征和语义几何对应关系，克服了有限的3D标注的挑战，并利用可用的2D标签实现了有效的3D对象部分分割，能够适应不同的部分分类和细粒度，展示了不同对象类别之间有趣的部分标签转移能力。

论文提出的方法在不同的基准测试中实现了SOTA性能，实验设计合理，提供了开源代码，可以使用少量3D标注或丰富的2D数据集进行3D对象部分分割，具有重要的应用前景。

近年来，还有一些相关研究，如：《3D部分分割的深度学习方法：综述与展望》、《基于深度学习的3D形状分割综述》等。