Material Palette: Extraction of Materials from a Single Image

本文提出了一种从单幅真实世界图像中提取基于物理的渲染（PBR）材质的方法。我们分两步进行：首先，我们使用扩散模型将图像的区域映射到材质概念，从而可以采样类似场景中每种材质的纹理图像。其次，我们利用一个单独的网络将生成的纹理分解为空间变化的BRDFs（SVBRDFs），从而为我们提供了可用于渲染应用的材质。我们的方法建立在现有的具有SVBRDF基准的合成材质库上，但还利用扩散生成的RGB纹理数据集，以允许使用无监督域自适应（UDA）来推广到新样本。我们的贡献在合成和真实世界数据集上进行了彻底的评估。我们进一步展示了从真实照片估计的材质来编辑3D场景的方法的适用性。代码和模型将成为开源。项目页面：https://astra-vision.github.io/MaterialPalette/。

从单张真实世界图像中提取基于物理的渲染（PBR）材料，这是论文试图解决的问题。这是否是一个新问题？

论文的关键思路是使用扩散模型将图像区域映射到材料概念，然后使用另一个网络将生成的纹理分解为空间可变的BRDF（SVBRDF），从而提供可用于渲染应用的材料。论文的思路新颖，利用了扩散生成的RGB纹理数据集，使用无监督领域自适应（UDA）实现对新样本的泛化。

论文的亮点包括对合成和真实数据集的充分评估，演示了从真实照片估计的材料用于编辑3D场景的适用性。论文提供了开源代码和模型。值得深入研究的工作包括改进材料概念的映射和扩展到更广泛的数据集。

在这个领域中的相关研究包括：《Learning to Synthesize 3D Photorealistic Models of Clothing》、《Neural Material Synthesis for Physical Surface Modeling》、《Deep Material Network: Teaching to Model Materials from Few Samples》等。