ZeST: Zero-Shot Material Transfer from a Single Image

我们提出了一种名为ZeST的方法，用于在给定材质示例图像的情况下，向输入图像中的对象进行零样本材质转移。ZeST利用现有的扩散适配器从示例图像中提取隐式材质表示。该表示用于使用预训练的修补扩散模型在输入图像中的对象上进行材质转移，使用深度估计作为几何线索，使用灰度对象阴影作为照明线索。该方法适用于实际图像，不需要任何训练，从而实现了零样本方法。在真实和合成数据集上的定性和定量结果表明，ZeST输出具有转移材质的逼真图像。我们还展示了ZeST的应用，以执行多个编辑和在不同照明条件下进行鲁棒的材质分配。项目页面：https://ttchengab.github.io/zest。

ZeST试图解决的问题是如何将一个材料样本图像的材料转移到输入图像中的对象上，同时保持真实感和光照一致性。这是一个新问题。

ZeST利用扩散适配器从样本图像中提取隐式材料表示，然后使用预训练的修复扩散模型在输入图像中的对象上使用深度估计作为几何线索和灰度对象阴影作为光照线索来转移材料。这是一种零样本方法。

该方法在真实图像上工作，无需任何训练，可以输出具有转移材料的逼真图像。实验结果表明，ZeST在真实和合成数据集上都能产生出色的结果。论文作者还展示了ZeST在多个编辑和不同光照下的材料分配的应用，同时提供了项目页面和开源代码。

在这个领域中，还有一些相关的研究，例如：'TextureGAN: Controlling Deep Image Synthesis with Texture Patches'、'Neural Style Transfer: A Review'、'Deep Image Analogy'等。