DreamPBR: Text-driven Generation of High-resolution SVBRDF with Multi-modal Guidance

以往的材质生成方法存在局限性，主要是因为基于重建的方法依赖于真实世界的测量数据，而基于生成的方法则是在相对较小的材质数据集上进行训练。为了解决这些挑战，我们提出了DreamPBR，这是一个新颖的基于扩散的生成框架，旨在通过文本和多模态控制来创建空间变化的外观特性，提供高度可控性和多样性的材质生成。实现多样化和高质量的PBR材质生成的关键在于整合最近基于数十亿个文本-图像对进行训练的大规模视觉语言模型的能力，以及来自数百个PBR材质样本的材质先验知识。我们利用一种新颖的材质潜在扩散模型（LDM）来建立反照率图和相应潜在空间之间的映射关系。然后，利用一个具有渲染感知PBR解码器的解码器将潜在表示解码成完整的SVBRDF参数图。我们的方法通过圆形填充的卷积支持平铺生成。此外，我们引入了一个多模态引导模块，其中包括像素对齐引导、样式图像引导和3D形状引导，以增强材质LDM的控制能力。我们展示了DreamPBR在材质创建方面的有效性，在广泛的可控生成和编辑应用中展示了它的多功能性和用户友好性。

本论文旨在解决材质生成中的控制性和多样性问题，通过结合大规模视觉语言模型和PBR材质样本的先验知识，提出了一种基于扩散的生成框架DreamPBR。

DreamPBR提出了一种新的材质生成方法，利用先验知识和大规模视觉语言模型生成具有空间变化的外观属性，通过多模态控制实现高度可控性和多样性。

论文提出了一种新的材质生成方法，支持通过文本和多模态控制生成具有空间变化的外观属性，实验结果表明该方法在材质生成和编辑方面具有良好的效果。论文使用了PBR材质样本和大规模视觉语言模型进行实验，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如Neural Material Synthesis、GAN-based Material Synthesis等。