Streamlining Image Editing with Layered Diffusion Brushes

最近，去噪扩散模型作为各种图像生成和操作任务的强大工具已经备受关注。在此基础上，我们提出了一种新颖的实时图像编辑工具，为用户提供了细粒度的区域目标监督，并增加了现有基于提示的控制。我们的新颖编辑技术称为“分层扩散画笔”，利用基于提示和区域目标的中间去噪步骤修改，实现精确修改，同时保持输入图像的完整性和上下文。我们提供了一个基于分层扩散画笔修改的编辑器，其中包括众所周知的图像编辑概念，如图层蒙版、可见性切换和独立图层操作；无论它们的顺序如何。我们的系统使用高端消费级GPU在140毫秒内对512x512图像进行单次编辑，实现实时反馈和快速探索候选编辑。我们通过用户研究验证了我们的方法和编辑系统，包括自然图像（使用反演）和生成图像，展示了它与现有技术（如InstructPix2Pix和Stable Diffusion Inpainting）相比的可用性和有效性，用于精细调整图像。我们的方法在一系列任务中表现出有效性，包括对象属性调整、错误校正和顺序提示的对象放置和操作，展示了它的多功能性和增强创意工作流的潜力。

本文旨在提出一种实时图像编辑工具，结合了现有的基于提示的控制和区域目标监督，解决了精细修改图像时的问题。同时，本文还试图验证这种新的编辑技术是否能够提高创意工作流程的效率。

本文提出了一种名为“分层扩散画笔”的编辑技术，它可以利用提示引导和区域目标监督来修改中间的去噪步骤，从而实现精确修改图像的目的。这种技术相比于现有的技术具有更高的效率和更好的效果。

本文提出的编辑系统可以在高端消费级GPU上以140ms的速度渲染512x512像素的图像，实现实时反馈和快速探索候选编辑。本文还通过用户研究验证了这种方法和编辑系统的有效性和易用性，展示了它在多个任务上的灵活性和潜力。

最近的相关研究包括InstructPix2Pix和Stable Diffusion Inpainting等技术，它们也是用于图像编辑和修复的方法。