Part123: Part-aware 3D Reconstruction from a Single-view Image

最近，扩散模型的出现为单视图重建开辟了新的机会。然而，所有现有的方法都将目标物体表示为一个缺乏任何结构信息的封闭网格，从而忽略了重建形状的重要的基于部分的结构，这对许多下游应用非常关键。此外，生成的网格通常存在大量噪声、不光滑的表面和模糊的纹理，这使得使用3D分割技术获得令人满意的部分分割变得具有挑战性。本文提出了Part123，这是一种从单视图图像进行部分感知3D重建的新框架。我们首先使用扩散模型从给定图像生成多视图一致的图像，然后利用Segment Anything Model (SAM)生成多视图分割掩模。为了有效地将2D基于部分的信息纳入3D重建并处理不一致性，我们将对比学习引入到神经渲染框架中，基于多视图分割掩模学习部分感知特征空间。还开发了一种基于聚类的算法，从重建模型中自动推导出3D部分分割结果。实验证明，我们的方法可以在各种物体上生成高质量的部分分割3D模型。与现有的非结构化重建方法相比，我们方法生成的部分感知3D模型对于一些重要的应用具有好处，包括特征保留重建、基元拟合和3D形状编辑。

本论文旨在解决现有单视角重建方法无法捕捉重建物体的部分结构信息，从而导致下游应用受限的问题。

论文提出了一种名为Part123的框架，通过使用扩散模型生成多视角一致的图像，再结合SAM模型生成多视角分割掩模，最后利用对比学习将2D部分信息有效地融入到3D重建中，从而得到具有高质量分割部分的3D模型。

论文的实验结果表明，Part123方法能够在各种物体上生成具有高质量分割部分的3D模型。相比现有的无结构重建方法，Part123生成的部分感知的3D模型在特征保留重建、基元拟合和3D形状编辑等方面具有重要应用价值。论文使用了多个数据集进行实验，并开源了代码。

近期在该领域的相关研究包括：《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》、《Occuseg: Occupancy-aware 3D Shape Segmentation》、《Learning to Infer Implicit Surfaces without 3D Supervision》等。