TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

我们提出了一种新的图像引导纹理合成方法——TextureDreamer，可以将可重光纹理从少量输入图像（3到5张）传输到任意类别的目标3D形状上。纹理的创造是视觉和图形学中的一个关键挑战。工业公司雇佣有经验的艺术家手工制作3D资产的纹理。经典方法需要密集采样的视角和准确对齐的几何形状，而基于学习的方法则局限于数据集中特定类别的形状。相比之下，TextureDreamer可以将高度详细的、复杂的纹理从真实环境中传输到任意对象，仅需少量随意拍摄的图像，可能会显著民主化纹理的创造。我们的核心思想——个性化的几何感知分数蒸馏（PGSD），从扩散模型的最新进展中汲取灵感，包括用于纹理信息提取的个性化建模、用于详细外观合成的变分分数蒸馏以及带有ControlNet的明确几何指导。我们的集成和一些基本修改显著提高了纹理质量。跨越不同类别的实际图像实验表明，TextureDreamer可以成功地将高度逼真、语义有意义的纹理传输到任意对象上，超越了以前的最新技术的视觉质量。

解决问题：论文提出了一种新的图像引导纹理合成方法，旨在将可重光纹理从少量输入图像（3到5张）转移到任意类别的目标3D形状上。

关键思路：PGSD，即个性化几何感知分数蒸馏，是该方法的核心思想，利用个性化建模提取纹理信息，使用变分分数蒸馏进行详细外观合成，并使用ControlNet进行显式几何引导。

其他亮点：该方法可以从真实世界环境中仅使用少量图像，将高度详细的纹理转移到任意对象上，极大地民主化了纹理创建过程。实验结果表明，TextureDreamer可以成功地将高度逼真、语义意义的纹理转移到任意对象上，超越了之前的最新技术水平。

相关研究：最近在这个领域中，还有一些相关的研究，如：Deep Texture Manifold for Ground Terrain Synthesis，Neural 3D Mesh Renderer，Deep Reflectance Fields: High-Quality Facial Reflectance Field Inference from Color Gradient Illumination，Deep Material Network: Material Recognition with Adaptive Convolutional Neural Networks等。