TexPainter: Generative Mesh Texturing with Multi-view Consistency

最近预训练扩散模型的成功为野外任意3D网格的纹理自动生成开辟了可能性。然而，这些模型是在屏幕空间中训练的，而将它们转换为多视角一致的纹理图像对于输出质量构成了重大障碍。在本文中，我们提出了一种新的方法来强制多视角一致性。我们的方法基于这样一个观察：预先训练的扩散模型中的潜空间对于每个摄像机视角都是单独加噪声的，因此直接操纵潜变量代码难以实现多视角一致性。基于著名的去噪扩散隐式模型（DDIM）方案，我们提出使用基于优化的颜色融合来强制一致性，并通过梯度反向传播间接修改潜变量代码。我们的方法进一步放宽了摄像机视角之间的顺序依赖假设。通过在一系列通用的3D模型上进行评估，我们发现我们的简单方法改善了生成纹理的一致性和总体质量，与竞争对手的最新技术相比。我们的实现可在以下网址找到：https://github.com/Quantuman134/TexPainter。

如何在多视角下生成高质量的纹理图像？

使用基于优化的颜色融合方法来强制实现多视角一致性，并通过梯度反向传播间接修改潜在代码。

论文使用了预训练扩散模型来自动生成纹理图像，提出了一种基于DDIM方案的优化颜色融合方法来实现多视角一致性，相比于竞争对手的方法，在多个3D模型上取得了更好的一致性和整体质量。

最近在这个领域的相关研究包括：'Multi-View 3D Reconstruction and Applications'，'Multi-view stereo: A tutorial'，'Learning to Reconstruct 3D Manhattan Wireframes from a Single Image'等。