Stable-Hair: Real-World Hair Transfer via Diffusion Model

目前的头发转移方法难以处理各种多样和复杂的发型，因此在实际场景中的适用性受到限制。本文提出了一种新颖的基于扩散的头发转移框架，名为“Stable-Hair”，可以将各种真实世界的发型稳健地转移到用户提供的面部图像上进行虚拟试发。为了实现这一目标，我们的“Stable-Hair”框架被设计成一个两阶段的流水线。在第一阶段，我们训练了一个秃头转换器和稳定扩散，以从用户提供的面部图像中删除头发，得到秃头图像。在第二阶段，我们专门设计了三个模块：发型提取器、潜在身份网络和头发交叉注意力层，以将目标发型高度详细和高保真地转移到秃头图像上。具体而言，发型提取器被训练以编码具有所需发型的参考图像。为了保持源图像和转移结果之间的身份内容和背景的一致性，我们采用一个潜在身份网络来编码源图像。在我们的U-Net中，借助头发交叉注意力层的帮助，我们可以将高度详细和高保真度的发型精确地转移到秃头图像上。广泛的实验表明，我们的方法在现有的头发转移方法中具有最先进的结果。项目页面：\textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}。

解决问题：论文旨在提出一种新的基于扩散的头发转移框架，名为 Stable-Hair，能够将各种复杂多样的真实发型稳定地转移到用户提供的面部图像上，以实现虚拟试发。

关键思路：论文提出了一个两阶段的框架，第一阶段使用 Bald Converter 和稳定扩散技术从用户提供的面部图像中移除头发，生成秃头图像；第二阶段使用 Hair Extractor、Latent IdentityNet 和 Hair Cross-Attention Layers 三个模块将目标发型高精度、高保真地转移到秃头图像上。

其他亮点：论文通过大量实验表明，Stable-Hair 方法在现有头发转移方法中具有最先进的性能。论文提供了项目页面和开源代码。

相关研究：最近的相关研究包括：《HairNet: Single-View Hair Reconstruction using Convolutional Neural Networks》、《DeepHair: Robust Hair Modeling using Dynamic Graph Learning》等。