MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis

我们提出了MeshSegmenter，这是一个简单但有效的框架，专门设计用于零样本3D语义分割。该模型成功地将2D分割模型的强大能力扩展到3D网格，可以在不同的网格和分割描述中提供准确的3D分割。具体而言，我们的模型利用Segment Anything Model（SAM）模型从渲染自3D形状的图像中分割目标区域。鉴于纹理对分割的重要性，我们还利用预训练的稳定扩散模型从3D形状生成带有纹理的图像，并利用SAM从具有纹理的图像中分割目标区域。纹理补充了形状以进行分割，并促进了准确的3D分割，即使在几何不突出的区域，例如在汽车网格中分割汽车门。为了实现3D分割，我们从不同的视角渲染2D图像，并对带纹理和不带纹理的图像进行分割。最后，我们开发了一个多视图重新投票方案，将来自各个视图的2D分割结果和置信度分数整合到3D网格上，确保分割结果的3D一致性，并消除特定视角的不准确性。通过这些创新，MeshSegmenter在定量和定性上都提供了稳定可靠的3D分割结果，凸显了它作为3D零样本分割领域转化工具的潜力。代码可在\url{https://github.com/zimingzhong/MeshSegmenter} 上获得。

MeshSegmenter旨在解决零样本三维语义分割问题，即在没有训练数据的情况下对三维网格进行准确的语义分割。

MeshSegmenter利用Segment Anything Model (SAM)模型从渲染自三维形状的图像中分割目标区域，并利用预训练的稳定扩散模型生成带有纹理的图像，从而提高分割的准确性。最后，通过多视图投票方案将2D分割结果和置信度得分整合到3D网格中，确保分割结果的3D一致性。

论文的实验结果表明，MeshSegmenter在各种网格和分割描述中都能实现准确的三维分割。该模型的代码已经开源，并可在GitHub上获取。值得深入研究的是，MeshSegmenter的纹理补充方法可以提高在几何非突出区域的准确性，同时多视图投票方案也可以消除特定视角的不准确性。

在这个领域中，最近的相关研究包括：PointNet, PointNet++, DGCNN, PointCNN等。