DreamMat: High-quality PBR Material Generation with Geometry- and Light-aware Diffusion Models

2D扩散模型经常包含不需要的内置阴影效果，并在下游应用中产生不真实的渲染效果。生成物理基础渲染(PBR)材料而不仅仅是RGB纹理将是一个有前途的解决方案。然而，直接从2D扩散模型中提取PBR材料参数仍然存在材料分解不正确的问题，例如反照率中的内置阴影效果。我们介绍了DreamMat，一种解决上述问题的创新方法，可以从文本描述中生成高质量的PBR材料。我们发现，不正确的材料提取的主要原因是大规模的2D扩散模型只被训练用于生成最终的着色颜色，在提取过程中对材料分解的约束不足。为了解决这个问题，我们首先微调一个新的带有光照感知的2D扩散模型，以在给定的光照环境下进行条件调整，并在这个特定的光照条件下生成着色结果。然后，通过在材料提取中应用相同的环境光照，DreamMat可以生成高质量的PBR材料，不仅与给定的几何形状一致，而且在反照率中没有任何内置阴影效果。广泛的实验表明，我们的方法产生的材料对用户具有更大的视觉吸引力，并且与基线方法相比，实现了显著优越的渲染质量，这对于游戏和电影制作等下游任务来说是更可取的。

本文试图解决从2D扩散模型中提取PBR材料参数时存在的问题，如不必要的烘焙阴影效果和渲染效果不真实等。

本文提出了DreamMat方法，通过对新的光感知2D扩散模型进行微调，将其与给定的光照环境相关联，从而生成与给定几何形状一致且不带任何烘焙阴影效果的高质量PBR材料。

本文的亮点包括使用DreamMat方法生成高质量PBR材料、设计了大量实验并使用了多个数据集来验证DreamMat方法的有效性、提出的方法在游戏和电影制作等下游任务中具有良好的应用前景。

在相关研究方面，最近的研究包括使用深度学习生成材料的方法、使用基于物理的材料编辑器生成材料的方法等。其中，与本文最相关的研究是“Neural Material Synthesis for Arbitrary Volumes Using Graph Networks”和“Physically Based Material Editing in VR”。