MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets

最近的研究利用强大的图像扩散模型，从文本或视觉指导中实现了自动创建3D对象。通过在不同视角之间迭代执行分数蒸馏采样（SDS），这些方法成功地将2D生成先验提升到3D空间。然而，这样的2D生成图像先验将照明和阴影效果融入了纹理中。因此，通过SDS优化的材质贴图不可避免地涉及虚假的相关成分。缺乏精确的材料定义使得在新场景中合理地重新照明生成的资产变得不可行，这限制了它们在下游场景中的应用。相比之下，人类可以从外观和语义中推断出物体的材料，轻松地避开这种歧义。受此启发，我们提出了MaterialSeg3D，一种3D资产材料生成框架，用于从2D语义先验中推断出潜在的材料。基于这样的先验模型，我们设计了一种在3D空间中解析材料的机制。我们维护一个UV堆栈，其中的每个映射都是从特定视角未投影的。经过所有视角的遍历后，我们通过加权投票方案融合堆栈，然后采用区域统一来确保物体部分的一致性。为了推动语义先验的学习，我们收集了一个材料数据集，名为Materialized Individual Objects（MIO），该数据集具有丰富的图像、多样的类别和准确的注释。广泛的定量和定性实验证明了我们方法的有效性。

本文旨在解决从2D语义先验生成3D物体时，由于2D生成图像中包含了光照和阴影，导致材质信息不准确，难以在新场景中进行合理的再照明，限制了其在下游场景中的应用问题。

本文提出了MaterialSeg3D框架，通过2D语义先验生成3D物体材质信息。通过维护一个UV堆栈，每个映射都是从特定视角未投影的，通过加权投票方案融合堆栈，然后采用区域统一来确保物体部分的一致性。

本文收集了一个名为MIO的材料数据集，具有丰富的图像，多样的类别和准确的注释。实验结果表明了本文方法的有效性。

最近的相关研究包括：Neural 3D Mesh Renderer、Generative Models for 3D Shapes、3D Shape Reconstruction from Sketches via Multi-View Convolutional Networks等。