PROUD: PaRetO-gUided Diffusion Model for Multi-objective Generation

最近，深度生成模型的进展集中在生成满足多个期望属性的样本上。然而，目前的方法通常独立优化这些属性函数，因此忽略它们之间的权衡。此外，属性优化通常被不适当地整合到生成模型中，导致生成质量（即生成样本的质量）不必要地受到妥协。为了解决这些问题，我们制定了一个约束优化问题。它旨在优化生成质量，同时确保生成的样本位于多个属性目标的帕累托前沿。这样的形式化使得可以生成无法在冲突属性函数上同时进一步改进的样本，并保持生成样本的良好质量。在此基础上，我们介绍了PaRetO-gUided Diffusion模型（PROUD），其中在去噪过程中的梯度被动态调整以提高生成质量，同时生成的样本遵循帕累托最优性。在图像生成和蛋白质生成任务的实验评估中，与各种基线相比，我们的PROUD始终保持卓越的生成质量，并接近多个属性函数的帕累托最优性。

本文旨在解决多属性生成模型中，独立优化属性函数可能忽略它们之间的权衡，并且属性优化通常未正确集成到生成模型中的问题。同时，保持生成样本的质量也很重要。

本文提出了一个约束优化问题，旨在优化生成质量的同时确保生成样本位于多个属性目标的Pareto前沿。此外，介绍了PaRetO-gUided Diffusion模型（PROUD），其中噪声处理过程中的梯度动态调整，以提高生成质量并确保生成样本遵循Pareto最优性。

本文提出的PROUD模型在图像生成和蛋白质生成任务中的实验结果表明，相比各种基线方法，PROUD在保持卓越的生成质量的同时接近Pareto最优性。

最近在多属性生成模型领域的相关研究包括：Multi-Objective Generative Adversarial Networks (MO-GAN)、Multi-Objective Reinforcement Learning (MORL)、Multi-Objective Variational Autoencoder (MO-VAE)等。