UniFL: Improve Stable Diffusion via Unified Feedback Learning

扩散模型已经彻底改变了图像生成领域，导致高质量模型和多样化的下游应用程序的大量出现。然而，尽管取得了这些重大进展，当前的竞争解决方案仍然存在一些限制，包括视觉质量较差、缺乏审美吸引力和推理效率低下等问题，而没有一个全面的解决方案。为了解决这些挑战，我们提出了UniFL，这是一个利用反馈学习全面增强扩散模型的统一框架。UniFL作为一个通用、有效和可推广的解决方案，适用于各种扩散模型，如SD1.5和SDXL。值得注意的是，UniFL包括三个关键组成部分：感知反馈学习，用于提高视觉质量；解耦反馈学习，用于改善审美吸引力；对抗反馈学习，用于优化推理速度。深入的实验和广泛的用户研究验证了我们提出的方法在提高生成模型的质量和加速方面的优越性能。例如，UniFL在生成质量方面的用户偏好比ImageReward高出17%，在4步推理方面比LCM和SDXL Turbo分别提高了57%和20%。此外，我们已经验证了我们的方法在下游任务中的有效性，包括Lora、ControlNet和AnimateDiff。

UniFL: 一种基于反馈学习的统一框架，用于增强扩散模型的视觉质量、美学吸引力和推理速度。

UniFL框架包括三个关键组件：感知反馈学习、解耦反馈学习和对抗性反馈学习，可用于各种扩散模型，如SD1.5和SDXL。

论文提出的UniFL框架在生成模型的质量和加速方面均优于ImageReward、LCM和SDXL Turbo等竞争方法，经过深入实验和大量用户研究验证。此外，论文还验证了UniFL在Lora、ControlNet和AnimateDiff等下游任务中的有效性。

相关研究包括ImageReward、LCM和SDXL Turbo等方法。