VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing

最近关于3D形状纹理合成的研究受益于2D文本到图像扩散模型的显著发展，包括修补和优化方法。然而，这些方法忽略了2D扩散模型和3D对象之间的模态差异，这主要是将3D对象渲染为2D图像，并分别为每个图像添加纹理。在本文中，我们重新审视了纹理合成，并提出了一种基于方差对齐的3D-2D协同去噪框架，称为VCD-Texture，以解决这些问题。正式地说，我们首先在扩散自我注意模块中统一了2D和3D潜在特征学习，并使用重新投影的3D注意力接收域。随后，去噪的多视角2D潜在特征被聚合到3D空间中，然后再栅格化回来以制定更一致的2D预测。然而，栅格化过程受到难以处理的方差偏差的影响，这在理论上被提出的方差对齐所解决，实现了高保真度的纹理合成。此外，我们提出了修补细化以进一步改善具有冲突区域的细节。值得注意的是，目前没有公开可用的基准来评估纹理合成，这阻碍了其发展。因此，我们基于三个开源3D数据集构建了一个新的评估集，并提出使用四个指标全面验证纹理性能。全面的实验表明，VCD-Texture在纹理合成方面表现优异。

本篇论文旨在解决3D形状纹理合成中2D扩散模型和3D对象之间的模态差异问题，并提出了一种基于方差对齐的3D-2D协同去噪框架。

该论文的关键思路是使用VCD-Texture框架，将2D和3D潜在特征学习统一到扩散自注意模块中，并使用重新投影的3D注意力接收域将2D特征聚合到3D空间中，然后将其栅格化回来以形成更加一致的2D预测。

该论文提出了一个新的纹理合成评估集，并使用四个度量指标对其进行全面评估。实验结果表明，VCD-Texture在纹理合成方面表现出优异的性能。

最近在这个领域中，一些相关的研究包括：《A Style-Based Generator Architecture for Generative Adversarial Networks》、《Generative Adversarial Networks》、《Progressive Growing of GANs for Improved Quality, Stability, and Variation》等。