图像合成(image composition)是指把一张图片的前景剪切下来，粘贴到另外一张背景图片上，得到一张合成图。然而，通过剪切复制得到的合成图可能会有诸多问题，影响合成图的真实性。图像合成技术旨在解决合成图中前景和背景之间的外观不一致性、几何不一致性、语义不一致性，提升合成图的质量。图像合成可以拆分成几个子任务，每个子任务解决一个子问题。我们实验室围绕图像合成与视频合成已经开展了一系列研究工作。接下来对图像合成可以做的方向做个简单的梳理，如下图所示。
图像和谐化(image harmonization)旨在解决前景和背景颜色光照的不一致性。当背景图片是艺术风格图片时，图像和谐化的变种叫做风格图像和谐化(painterly/style image harmonization)。作为图像和谐化的对抗性任务，不和谐区域检测(inharmonious region localization)旨在检测图像中的不和谐区域。
物体阴影生成(object shadow generation)旨在为前景物体生成合理的阴影。
物体放置(object placement)旨在为前景物体预测合理的位置、大小、透视角度。作为物体放置的对抗性任务，违背上下文物体检测(out-of-context object detection)旨在检测图像中位置、大小不合理的物体。
图像合成相关的论文、代码、模型可参考下面的链接。
还有一个在线demo可供玩耍，have fun!
https://bcmi.sjtu.edu.cn/home/niuli/demo_image_composition/
图像合成的每个子任务都可以拓展到视频合成，额外考虑时序平滑性。图像合成也可以拓展到3D, 把3D物体放到3D场景中，结合NeRF技术。也可以利用AI技术自动生成内容(AIGC)的模型辅助图像合成任务。欢迎关注图像合成及其延伸任务。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢