图像填充（image inpainting）旨在从缺失的图片目标区域中合理地恢复内容，以使图片恢复至未缺失之前的状态。大多数现有的技术利用图像中存在的内容相似性，或大规模数据中学习的语义和纹理信息来填充图片的缺失部分。但现有的技术在面对大面积缺失时表现不佳：一方面很难恢复图像的原有语义，另一方面很容易产生人工生成的痕迹。然而，如果有另外的一张相同场景的参考图作为依据，我们就可以把图片填充问题转变为图片融合及生成问题。此类技术有着未被人充分关注但颇具潜力的应用价值，源于我们通常有着一景多拍的拍摄习惯和大量的参考图片。此次介绍Adobe Photoshop团队发表于CVPR2021的研究成果TransFill，利用一种多个单应变换(Muli-Homography) 、多个色彩及空间(color-spatial) 变换的融合方法，使用参考图中的内容对目标图进行填充。此方法结合了深度检测、图片配准、深度学习的图片空间变换和颜色匹配、单图填充等最优方法，以实现对参考图内容的重用。模型在具有颜色差和视差的成对的用户图像上亦得到了最优的填充效果。

论文标题：TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations

论文链接：https://arxiv.org/abs/2103.15982

项目地址：https://yzhouas.github.io/projects/TransFill/index.html

论文作者：周宇乾

美国伊利诺伊香槟分校(UIUC) 在读博士，曾师从已故计算机科学家Thomas Huang (黄煦涛)教授。本科和硕士毕业于香港科技大学，是港科大2015年度学术成就奖获得者。曾在旷视科技，微软研究院和Adobe实习。发起和组织了ICCV/ECCV有关真实世界低质量输入识别和检测的子会议(RIQ2019/2020) 及相关世界挑战赛。主要研究方向为图像修复，图像生成，低质量图片分析，医学图像分析，情感计算和人机交互等，研究成果发表于CVPR/ICCV/AAAI/MICCAI等。

个人主页: https://yzhouas.github.io/

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除