Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects

最近文本到图像模型的可用性和适应性在许多相关领域引发了一个新时代，这些领域受益于学习的文本先验知识以及高质量和快速的生成能力，其中之一是用于三维物体的纹理生成。虽然最近的纹理生成方法通过使用文本到图像网络实现了令人印象深刻的结果，但在全局一致性、质量和速度的结合方面，这对于推进纹理生成到现实世界的应用仍然是难以实现的。为此，我们介绍了Meta 3D TextureGen：一种新的前馈方法，由两个顺序网络组成，旨在在不到20秒的时间内为任意复杂度的任意几何形状生成高质量和全局一致的纹理。我们的方法通过将文本到图像模型与2D空间中的3D语义相结合，并将它们融合成完整的高分辨率UV纹理映射，实现了质量和速度的最新成果，这得到了广泛的定性和定量评估。此外，我们还介绍了一种纹理增强网络，它能够将任何纹理放大任意比例，生成4k像素分辨率的纹理。

本论文旨在解决纹理生成中全局一致性、质量和速度之间的平衡问题，以便将其应用于实际场景中。

论文提出了一种新的前馈方法，由两个顺序网络组成，旨在在不到20秒的时间内为任意复杂度的几何体生成高质量、全局一致的纹理。该方法通过在2D空间中将文本到图像模型与3D语义相结合，形成完整的高分辨率UV纹理映射。

论文的实验结果表明，该方法在质量和速度方面均达到了最先进的水平，并且还引入了一种纹理增强网络，能够将任何纹理放大到4k像素分辨率。此外，论文还开源了代码。

在纹理生成领域，最近还有一些相关研究，例如：《A Style-Based Generator Architecture for Generative Adversarial Networks》、《TextureGAN: Controlling Deep Image Synthesis with Texture Patches》等。