Diffusion-NPO: Negative Preference Optimization for Better Preference Aligned Generation of Diffusion Models

扩散模型在图像生成领域取得了显著进展，然而，基于大型、未经筛选的数据集训练的模型常常生成与人类偏好不一致的输出。为了解决这一问题，已提出多种方法对预训练的扩散模型进行微调，这些方法在使生成结果更符合人类偏好方面取得了显著改进。然而，我们认为现有的偏好对齐方法忽视了处理无条件或负条件生成结果的关键作用，这导致了避免生成不良结果的能力下降。这种疏忽限制了无分类器引导（CFG）的有效性，而CFG依赖于条件生成与无条件或负条件生成之间的对比来优化输出质量。为此，我们提出了一种简单但灵活且高效的方法，即训练一个专门针对负面偏好的模型。该方法无需新的训练策略或数据集，而是对现有技术进行了小幅调整。我们的方法能够与诸如SD1.5、SDXL、视频扩散模型以及已经经过偏好优化的模型无缝集成，并持续提升它们与人类偏好的一致性。

论文试图解决扩散模型生成内容与人类偏好不一致的问题，尤其是在处理无条件或负条件生成时的能力不足。这是一个已有问题，但现有方法在处理负面偏好方面存在不足。

论文提出了一种简单而有效的方法，通过训练一个专门针对负面偏好的模型来增强扩散模型对不可取输出的规避能力。这种方法无需新的训练策略或数据集，而是对现有技术进行小幅度改进，从而提高分类器自由引导（CFG）的效果。

该方法能够无缝集成到多种扩散模型（如SD1.5、SDXL和视频扩散模型）中，并显著提升其与人类偏好的一致性。实验设计包括对比不同模型在引入此方法前后的表现，验证了其普适性和有效性。代码尚未明确提及是否开源，但研究为未来探索如何进一步优化扩散模型的偏好对齐提供了方向。

近期相关研究包括：1)《Learning Human Preferences for Image Synthesis》探讨了如何通过反馈机制优化生成图像；2)《Negative Prompt Tuning for Diffusion Models》研究了负提示词的作用；3)《Improving Classifier-Free Guidance via Preference Learning》提出了基于偏好学习的CFG改进方案。这些工作共同推动了扩散模型在生成高质量、符合人类期望内容方面的进展。