StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning

我们介绍了StableMaterials，这是一种新颖的生成基于物理的渲染（PBR）材料的方法，将半监督学习与潜在扩散模型（LDM）相结合。我们的方法采用对抗训练，从现有的大规模图像生成模型中提取知识，最大程度地减少对注释数据的依赖，并增强生成的多样性。这种蒸馏方法将生成材料的分布与SDXL模型的图像纹理分布对齐，使得能够生成初始训练数据集中不存在的新材料。此外，我们采用基于扩散的精细模型来提高样本的视觉质量，实现高分辨率的生成。最后，我们蒸馏了一个潜在的一致性模型，只需四个步骤即可快速生成，并提出了一种新的平铺技术，可消除通常与较少扩散步骤相关的视觉伪影。我们详细介绍了StableMaterials的架构和训练过程，将半监督训练集成到现有的LDM框架中，并展示了我们方法的优势。与最先进的方法进行比较评估，显示出StableMaterials的有效性，突显其在计算机图形学等领域的潜在应用。StableMaterials公开可用于https://gvecchio.com/stablematerials。

StableMaterials论文的目标是什么？

StableMaterials使用半监督学习和潜在扩散模型（LDM）来生成物理真实的PBR材料，并通过对抗训练从现有的大规模图像生成模型中提取知识，从而最小化对注释数据的依赖并增强生成的多样性。

StableMaterials使用扩散模型来提高样本的视觉质量和生成高分辨率的材料。此外，他们提出了一个新的可平铺性技术，以消除通常与较少扩散步骤相关的视觉伪影。StableMaterials公开了其代码，并在实验中展示了其方法的优越性。

与StableMaterials相关的其他研究包括：SDXL模型、GAN模型、LDM模型等。