现有的深度学习图像和谐化方法大多基于编码器-解码器的结构,在低分辨率图像和谐化任务上取得了优异的性能。但是直接将这些方法应用于高分辨率图像和谐化会有诸多问题。

一方面,随着图像分辨率的增加,存储成本和计算成本会变得十分高昂。另一方面,这些方法主要叠加局部卷积操作,捕捉长程关系的能力较弱,对于前景面积占比较大的图片和谐化效果不佳。

在这篇论文中,我们将之前深度学习图像和谐化方法总结为像素到像素(pixel-to-pixel)变换的方法,提出了颜色到颜色变换(color-to-color)的方法,并且将两种类型的方法有机融合在同一个框架下,因此方法的名字叫做Collaborative Dual Transformations (CDTNet)。

论文链接:https://arxiv.org/pdf/2109.06671.pdf

代码链接:https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization

网络结构图

内容中包含的图片若涉及版权问题,请及时与我们联系删除