LEDITS++: Limitless Image Editing using Text-to-Image Models

最近，文本到图像扩散模型因其惊人的能力——仅通过文本输入产生高保真度图像——而受到越来越多的关注。随后的研究努力旨在利用和应用它们的能力到真实图像编辑中。然而，现有的图像到图像方法通常效率低下、不精确且功能有限。它们要么需要耗费时间进行微调，要么过分偏离输入图像，要么缺乏对多个同时编辑的支持。为了解决这些问题，我们推出了LEDITS++，这是一种高效而又多才多艺、精确的文本图像操作技术。LEDITS++的新颖反演方法不需要调整或优化，并且只需进行几个扩散步骤就能产生高保真度的结果。其次，我们的方法支持多个同时编辑并且不依赖于特定的架构。第三，我们使用一种新颖的隐式掩模技术来限制对相关图像区域的更改。我们在详尽的评估中提出了新颖的TEdBench++基准测试。我们的结果展示了LEDITS++的能力以及它相对于以前方法的改进。项目页面可在https://leditsplusplus-project.static.hf.space找到。

论文旨在解决图像编辑中现有方法效率低、精度不高、多重编辑支持有限等问题。是否属于新问题？

论文提出了一种高效、精确、多重编辑支持的文本图像编辑技术LEDITS++，其新颖的反演方法无需微调或优化，支持多重编辑，并使用了一种新颖的隐式掩膜技术限制对相关图像区域的更改。

论文提出了TEdBench++基准测试，并展示了LEDITS++相对于现有方法的改进。实验使用了多个数据集，并提供了开源代码。

该领域最近的相关研究包括：Text2Shape、GAN-based image editing、Image-to-image translation等。