ReflectanceFusion: Diffusion-based text to SVBRDF Generation

我们介绍了一种新的神经文本到纹理模型——反射扩散，它能够从文本描述中生成高保真的SVBRDF（空间变化反射率分布）贴图。我们的方法采用了一种串联神经网络的方法，包括两个模块，以准确地模拟文本提示所描述的空间变化反射率的分布。首先，我们使用一个预先训练的稳定扩散2模型生成一个潜在的表示，它可以告知材料的整体形状并作为我们的主干模型。然后，我们的ReflectanceUNet模块可以对材料的物理外观进行微调控制并生成SVBRDF贴图。ReflectanceUNet模块是在包括大约20万个合成空间变化材料的广泛数据集上进行训练的。我们的生成SVBRDF扩散模型允许从单个文本输入合成多个SVBRDF估计，为用户提供了选择最符合其要求的输出的可能性。我们通过从一系列具体和广泛的文本描述中生成SVBRDF贴图来说明我们方法的多功能性。我们的ReflectanceUNet模型可以集成可选的物理参数，如粗糙度和镜面反射度，以增强自定义。当主干模块固定时，ReflectanceUNet模块可以细化材料，直接编辑其物理属性。比较评估表明，ReflectanceFusion的准确性优于现有的文本到材料模型，如Text2Mat，同时还提供了可编辑和可重新照明的SVBRDF贴图的优点。

该论文旨在解决从文本描述生成高保真度SVBRDF贴图的问题，这是否是一个新问题需要进一步探讨。

该论文提出了一种新的神经文本到纹理模型，使用两个模块进行建模，其中一个模块利用预训练的稳定扩散模型生成潜在表示，作为骨干模型，另一个模块使用ReflectanceUNet进行微调控制，生成SVBRDF贴图。该模型的亮点在于可以从单个文本输入中合成多个SVBRDF估计，并且可以集成可选的物理参数，如粗糙度和镜面反射等，提高了定制化程度。

该论文使用了大约20万个合成的空间变化材料数据集进行训练，并且展示了从广泛和具体的文本描述中生成SVBRDF贴图的能力。论文的实验结果表明，Reflectance Diffusion模型比现有的文本到材质模型（如Text2Mat）具有更好的准确性，并且提供了可编辑和可重照的SVBRDF贴图的优点。论文还提供了开源代码。

与该论文相关的研究包括Text2Mat等文本到材质模型，以及其他的文本到图像生成模型，如AttnGAN和StackGAN等。