HoloPart: Generative 3D Part Amodal Segmentation

3D部件的隐模分割——即使在遮挡的情况下，也将3D形状分解为完整且语义上有意义的部件——是一项具有挑战性但至关重要的任务，对于3D内容的创建和理解有着关键作用。现有的3D部件分割方法仅能识别可见的表面区域，这限制了它们的实际用途。受2D隐模分割的启发，我们将这一新颖任务引入3D领域，并提出了一种实用的两阶段方法，以应对推断遮挡的3D几何结构、保持整体形状一致性以及在有限训练数据下处理多样化形状等关键挑战。首先，我们利用现有的3D部件分割技术获得初始的、不完整的部件片段。其次，我们引入了HoloPart，这是一种基于扩散模型的新颖方法，能够将这些片段补全为完整的3D部件。HoloPart采用了一种专门设计的架构，通过局部注意力机制捕捉精细的部件几何特征，并通过全局形状上下文注意力确保整体形状的一致性。我们基于ABO和PartObjaverse-Tiny数据集引入了新的基准测试，并证明HoloPart显著优于当前最先进的形状补全方法。通过将HoloPart与现有的分割技术结合，我们在3D部件隐模分割任务上取得了令人鼓舞的结果，为几何编辑、动画制作和材质分配等应用开辟了新的可能性。

该论文试图解决3D形状的遮挡部分分割问题，即在部分被遮挡的情况下，将3D形状分解为完整的、语义上有意义的部分。这是一个新问题，因为现有的3D分割方法仅关注可见表面，而无法处理遮挡区域。

论文提出了一种两阶段方法来解决3D部分模态分割问题：首先利用现有的3D部分分割技术获取初始的不完整部分；然后引入HoloPart，一种基于扩散模型的新架构，用于完成这些不完整的部分。HoloPart通过局部注意力机制捕捉精细的几何细节，并通过全局形状上下文注意力确保整体形状的一致性，从而解决了遮挡推理和形状一致性的问题。

论文引入了新的基准测试数据集（ABO和PartObjaverse-Tiny），并在这些数据集上展示了HoloPart显著优于现有形状补全方法的结果。此外，作者结合现有分割技术与HoloPart实现了对3D部分模态分割的有效支持。代码尚未明确提到是否开源，但研究为几何编辑、动画和材质分配等应用提供了新的可能性。未来可以进一步探索更复杂的形状以及跨领域应用。

最近的相关研究包括《Amodal Completion and Recognition》（针对2D图像的遮挡完成与识别）、《PointGrow: An Autoregressive Generative Model for 3D Point Clouds》（生成3D点云的自回归模型）和《SPNet: Shape Perception Network for 3D Amodal Completion》（针对3D遮挡完成的感知网络）。这些工作主要集中在2D或3D形状补全和分割领域，但较少涉及遮挡部分的语义分割。