HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach

我们的论文解决了将参考图像中的发型转移到输入照片进行虚拟试发的复杂任务。由于需要适应各种照片姿势、发型的敏感性以及缺乏客观指标，这个任务很具有挑战性。目前最先进的发型转移方法使用了优化过程的不同部分，使它们速度极慢。同时，基于编码器的模型速度较快，但质量非常低，因为它们要么在StyleGAN的W+空间中操作，要么使用其他低维度的图像生成器。此外，这两种方法在源姿势与目标姿势非常不同的情况下，都存在发型转移的问题，因为它们要么根本不考虑姿势，要么处理效率低下。在我们的论文中，我们提出了HairFast模型，独特地解决了这些问题，并实现了高分辨率、近实时的性能和优越的重建效果，相比于基于优化问题的方法。我们的解决方案包括在StyleGAN的FS潜空间中操作的新架构、增强的修复方法，以及用于更好的对齐、颜色转移和后处理的改进编码器。我们的方法的有效性是通过随机发型转移和重建时的逼真度指标来证明的。在从不同图像转移发型的形状和颜色的最困难的情况下，我们的方法在Nvidia V100上不到一秒就能完成。我们的代码可在https://github.com/AIRI-Institute/HairFastGAN上获得。

论文旨在解决虚拟试发中的发型转移问题，包括姿势适应、发型敏感性和缺乏客观指标等挑战。

论文提出了一种名为HairFast的模型，采用了基于StyleGAN的FS潜空间的新架构、增强的修补方法和改进的编码器等技术，实现了高分辨率、接近实时性能和优越的重建效果。

实验结果表明，HairFast模型在随机发型转移和原始发型转移重建方面表现出色，尤其是在不同图像之间转移形状和颜色的最困难的情况下，该方法在Nvidia V100上的运行时间不到一秒。论文开源了代码。

与本文相关的研究包括使用优化过程的发型转移方法和使用低维图像生成器的编码器模型等。