AAAI 2023 | 双域风格图像和谐化

图像合成（Image Composition）是指将前景从一张图片上剪切下来，然后粘贴到另一张图片上，生成一张合成图片的技术。但通过这种方式获得的合成图片，其前景和背景会存在色彩、光照等统计信息不一致的问题，这导致整张图片看起来不真实、不和谐。图像和谐化（Image Harmonization）任务旨在调整合成图片中的前景区域的外观表现，使其与背景一致，使合成图片变得更加真实和谐。 

近年来，图像和谐化任务得到了越来越多的关注。已有的工作中，大多数处理的是由两张照片合成的图片。而在实际应用中，用户也可能从照片上剪切下来一个前景物体，然后粘贴到一张油画背景上，期望生成一张艺术风格的合成图。 

如下图所示，我们将剪切自照片的前景物体（foreground object）粘贴到具有艺术风格的背景图片（background）上，生成一张艺术风格的合成图片（composite）。可以看出，在合成图片中，前景的色彩、纹理、笔触等风格信息与背景明显不一致，导致整张图看起来不真实。

我们通过风格图像和谐化（Painterly Image Harmonization）来解决这类合成图片不和谐的问题。给定一张合成图，其前景来自照片，而背景来自艺术图片，风格图像和谐化的任务是调整前景的风格，使其与背景和谐一致。

现在已经有少量的工作来做风格图像和谐化。这些工作可以分为两类：基于优化的（optimization-based）方法和前馈（feed-forward）方法。基于优化的方法通过最小化目标函数，直接对输入的合成图片进行迭代优化。这一类方法通常会对每张合成图求得最优解，但过程是非常耗时的。 

前馈方法将合成图片输入网络，然后通过损失函数的约束，让网络来学习生成和谐化图片。这一类方法通过提供大量数据，训练网络使其掌握艺术和谐化的能力，在推理阶段是十分快速的。但现有的方法仍然存在前景风格化不充分，以及前景没有很好地融入背景的问题。 

考虑到应用的实时性问题，我们采用了前馈方法。根据艺术图片的纹理特性，我们将频域知识引入到风格图像和谐化任务中。我们设计了一个双域（dual-domain）风格图像和谐化网络，将在空间域和频域中捕捉到的特征信息共同用于风格图像和谐化。我们的工作已被 AAAI 2023 接收。

论文链接：

代码链接：

内容中包含的图片若涉及版权问题，请及时与我们联系删除