Diffusion Models for Multi-Task Generative Modeling

扩散式生成建模在各种生成任务上取得了最先进的结果。然而，大多数扩散模型仅限于单一生成建模。我们能否将扩散模型推广到具有多模态生成训练能力以进行更具普适性的建模？本文提出了一种基于原则的方法，通过在共同的扩散空间中构建统一的多模态扩散模型来定义扩散模型。我们将正向扩散过程定义为由多种类型的任务数据（例如，用于生成任务的图像和用于分类任务的标签）驱动的信息聚合。在反向过程中，我们通过使用额外的模态特定解码器头部对共享骨干去噪网络进行参数化，从而强制信息共享。这样的结构可以通过多任务损失同时学习生成不同类型的多模态数据，该损失源自一个新的多模态变分下界，该下界推广了标准扩散模型。我们提出了几种多模态生成设置来验证我们的框架，包括图像转换、掩码图像训练、联合图像标签和联合图像表示生成建模。在ImageNet上的广泛实验结果表明，我们的框架对于各种多模态生成建模是有效的，我们认为这是一个值得未来更多探索的重要研究方向。

本文试图通过构建一个统一的多模态扩散模型，提出一种能够进行多模态生成训练的新方法，以解决传统扩散模型只能进行单一生成建模的问题。

本文提出了一种正向扩散过程，通过多种任务数据（如生成任务的图像和分类任务的标签）进行信息聚合。同时，通过在共同的扩散空间中参数化一个共享骨干去噪网络，并添加特定于模态的解码器头，实现信息共享的反向过程。这种结构可以通过多任务损失同时学习不同类型的多模态数据的生成，该损失源自新的多模态变分下限，可推广标准扩散模型。

本文提出的方法在多种多模态生成设置上进行了验证，包括图像转换、掩膜图像训练、联合图像标签和联合图像表示生成建模。在ImageNet上进行的广泛实验结果表明了本文框架在各种多模态生成建模方面的有效性。

最近的相关研究包括多模态生成建模、扩散模型以及多任务学习等。其中一些论文包括：'Learning to Generate Images with Perceptual Similarity Metrics'，'Diffusion Models Beat GANs on Image Synthesis'，'Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics'等。