Harmonizing Attention: Training-free Texture-aware Geometry Transfer

本研究旨在独立于表面纹理从摄影图像中提取几何特征并将其转移到不同材料上，这仍然是一个复杂的挑战。我们提出了一种新颖的无需训练的方法，称为“Harmonizing Attention”，利用扩散模型进行纹理感知的几何转移。我们的方法采用了自我关注层的简单而有效的修改，允许模型在这些层内从多个参考图像中查询信息。这种机制被无缝地整合到反演过程中作为“纹理对齐关注”，并且在生成过程中作为“几何对齐关注”。这种双重关注方法确保了有效地捕捉和转移独立于材料的几何特征，同时保持材料特定的纹理连续性，而无需进行模型微调。

如何将几何特征从照片图像中独立于表面纹理提取，并将其转移到不同的材料上？

本文提出了一种新的无需训练的方法，利用扩散模型进行纹理感知的几何转移。该方法通过自注意力层的简单而有效的修改，允许模型在这些层中从多个参考图像中查询信息。这种机制被无缝地集成到反演过程中作为“纹理对齐注意力”，并在生成过程中作为“几何对齐注意力”。这种双重注意力方法确保了有效地捕获和转移材料无关的几何特征，同时保持材料特定的纹理连续性，而无需进行模型微调。

本文的实验结果表明，所提出的方法在几何特征转移方面的性能优于当前最先进的方法。此外，该方法无需进行训练，并且可以在不同的数据集和材料上进行通用的几何特征转移，具有广泛的适用性。论文中还提供了开源代码和数据集，以便其他研究人员使用和进一步研究。

在这个领域的相关研究包括：《A Style-Aware Content Loss for Real-time HD Style Transfer》、《Deep Photo Style Transfer》等。