ByteEdit: Boost, Comply and Accelerate Generative Image Editing

最近扩散式生成图像编辑方面的进展引发了一场深刻的革命，重塑了图像外部和内部修复任务的领域。尽管取得了这些进展，但该领域仍然面临固有的挑战，包括：i）质量差；ii）一致性差；iii）不足的指令遵循；iv）生成效率不佳。为了解决这些障碍，我们提出了ByteEdit，这是一个创新的反馈学习框架，经过精心设计，旨在提高、遵守和加速生成图像编辑任务。ByteEdit无缝集成了专门用于提高美学和图像-文本对齐的图像奖励模型，同时引入了一个针对输出一致性的密集像素级奖励模型。此外，我们提出了一种先进的对抗性和渐进式反馈学习策略，以加快模型的推理速度。通过广泛的大规模用户评估，我们证明ByteEdit在生成质量和一致性方面均超过了领先的生成图像编辑产品，包括Adobe、Canva和MeiTu。与基线模型相比，ByteEdit-Outpainting在质量和一致性方面分别提高了388%和135%。实验还验证了我们的加速模型在质量和一致性方面保持了出色的表现结果。

ByteEdit: 一种用于生成图像编辑的反馈学习框架

ByteEdit提出了一种创新的反馈学习框架，通过整合图像奖励模型和像素级奖励模型来提高生成图像的质量和一致性，并采用渐进式反馈学习策略来加速模型的推理速度。

ByteEdit在大规模用户评估中表现出比Adobe、Canva和MeiTu等领先的生成图像编辑产品更高的质量和一致性。ByteEdit-Outpainting相比基线模型，质量和一致性分别提高了388%和135%。

最近的相关研究包括：Diffusion Models、Generative Image Editing和Adversarial Learning等。