Relightful Harmonization: Lighting-aware Portrait Background Replacement

人像融合的目的是将一个主体合成到一个新的背景中，调整其照明和颜色，以确保与背景场景协调一致。现有的融合技术通常只关注调整前景的全局颜色和亮度，忽略了来自背景的关键照明线索，如明显的光照方向，导致合成结果不真实。我们介绍了一种称为“Relightful Harmonization”的基于光照的扩散模型，旨在使用任何背景图像来无缝地协调前景人像的复杂照明效果。我们的方法分为三个阶段。首先，我们引入一个光照表示模块，使我们的扩散模型能够从目标图像背景中编码光照信息。其次，我们引入一个对齐网络，将从图像背景中学习的光照特征与从全景环境地图中学习的光照特征进行对齐，后者是场景照明的完整表示。最后，为了进一步提高所提出方法的逼真度，我们引入了一种新的数据模拟流程，从各种自然图像中生成合成训练对，用于优化模型。我们的方法在视觉保真度和光照一致性方面优于现有基准，展示了在真实世界测试场景中的优越泛化能力，凸显了其多功能性和实用性。

本论文旨在解决肖像融合中忽略背景照明方向的问题，提出一种基于扩散模型的肖像融合方法，能够自适应地调整前景的照明和颜色，使其与背景场景协调一致。

论文提出了一种基于扩散模型的肖像融合方法，包括三个阶段：引入照明表示模块，对目标图像背景的照明信息进行编码；引入对齐网络，将从图像背景和全景环境贴图中学习到的照明特征进行对齐；引入数据模拟管道，生成用于改进模型的合成训练对。

论文通过实验验证了所提出方法在视觉保真度和照明一致性方面的优越性，并展示了在真实场景测试中的通用性和实用性。论文还提出了一种数据模拟管道，用于生成合成训练对以提高模型性能。论文开源了代码。

在肖像融合领域，已有一些相关研究，如《Deep Image Harmonization》、《PortraitNet: Real-time portrait segmentation network for mobile device》等。