MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

纹理化是3D资产生产流程中的关键步骤，可以增强3D资产的视觉吸引力和多样性。尽管最近在文本到纹理（T2T）生成方面取得了进展，但现有方法往往产生次优结果，主要原因是局部不连续性、多视角间的一致性问题以及对UV展开结果的严重依赖。为了解决这些挑战，我们提出了一种新的生成-优化3D纹理框架，称为MVPaint，该框架可以生成高分辨率、无缝纹理，同时强调多视角一致性。MVPaint主要由三个关键模块组成：1) 同步多视角生成（SMG）。给定一个3D网格模型，MVPaint首先通过使用SMG模型同时生成多视角图像，这会导致由于缺少观察而产生的粗略纹理结果，其中包含未上色的部分。2) 空间感知3D修复（S3I）。为了确保完整的3D纹理化，我们引入了S3I方法，专门设计用于有效纹理化之前未观察到的区域。3) UV优化（UVR）。此外，MVPaint采用UVR模块来提高UV空间中的纹理质量，首先进行UV空间超分辨率处理，然后使用空间感知接缝平滑算法来修正因UV展开导致的空间纹理不连续性。此外，我们建立了两个T2T评估基准：基于Objaverse数据集中精选的高质量3D网格模型的Objaverse T2T基准和基于整个GSO数据集的GSO T2T基准。大量的实验结果表明，MVPaint超越了现有的最先进方法。值得注意的是，MVPaint能够生成高保真纹理，几乎不存在Janus问题，并且显著增强了跨视角一致性。

该论文旨在解决现有文本到纹理生成方法中存在的局部不连续性、多视角不一致性以及对UV展开结果的严重依赖问题。这些问题导致生成的纹理质量不高，影响了3D资产的视觉效果。

论文提出了一种名为MVPaint的新框架，该框架通过三个主要模块来解决上述问题：1) 同步多视角生成（SMG），用于同时生成多视角图像；2) 空间感知3D修复（S3I），用于处理未观察到的区域；3) UV细化（UVR），用于提高UV空间中的纹理质量和修正由UV展开引起的不连续性。这种方法在多视角一致性和纹理完整性方面有显著改进。

论文建立了两个新的T2T评估基准：Objaverse T2T和GSO T2T，基于高质量的3D模型。实验结果表明，MVPaint在生成高保真纹理和减少Janus问题方面优于现有的最先进方法。此外，该方法在多视角一致性上表现尤为出色。论文没有提到是否开源代码，但其方法论和实验设计为未来的研究提供了重要参考。

近年来，关于文本到纹理生成的研究有很多进展，例如：1)《Text2Mesh: Generating Textures for 3D Meshes from Natural Language Descriptions》；2)《Multi-View Consistent Text-to-Image Synthesis》；3)《UVNet: Unsupervised UV Map Generation for 3D Texturing》。这些研究都试图通过不同的方法解决3D纹理生成中的挑战，而MVPaint则在多视角一致性和纹理完整性方面提出了新的解决方案。