Ensembling Diffusion Models via Adaptive Feature Aggregation

文中提到，文本引导扩散模型的成功启发了开源社区中众多强大的扩散模型的开发和发布。这些模型通常在各种专家数据集上进行微调，展示了多样的去噪能力。利用多个高质量模型产生更强的生成能力是有价值的，但尚未得到广泛研究。现有方法主要采用参数合并策略来产生新的静态模型。然而，它们忽视了模型的不同去噪能力可能在不同状态下动态变化的事实，例如在经历不同提示、初始噪声、去噪步骤和空间位置时。本文提出了一种新的集成方法，自适应特征聚合（AFA），它根据各种状态（即提示、初始噪声、去噪步骤和空间位置）在特征级别动态调整多个模型的贡献，从而保持多个扩散模型的优点，同时抑制它们的缺点。具体而言，我们设计了一个轻量级的空间感知块级（SABW）特征聚合器，它将来自多个U-Net去噪器的块级中间特征自适应地聚合成一个统一的特征。其核心思想在于通过全面考虑各种状态，动态产生每个模型特征的个体注意力图。值得注意的是，只有SABW是可训练的，约有5000万个参数，而其他模型则被冻结。定量和定性实验都证明了我们提出的自适应特征聚合方法的有效性。代码可在https://github.com/tenvence/afa/获得。

本文试图解决的问题是如何在多个强大的扩散模型之间动态调整贡献，以产生更强的生成能力。

本文提出了一种新的集成方法，Adaptive Feature Aggregation（AFA），该方法根据不同状态（即提示、初始噪声、去噪步骤和空间位置）动态调整多个模型在特征级别的贡献，从而保持多个扩散模型的优点，同时抑制它们的缺点。

本文的亮点包括：设计了一个轻量级的空间感知块状（SABW）特征聚合器，该聚合器将来自多个U-Net去噪器的块状中间特征自适应聚合成一个统一的特征；通过全面考虑各种状态，动态产生每个模型特征的个体注意力图；在定量和定性实验中都证明了所提出的Adaptive Feature Aggregation方法的有效性；代码已在https://github.com/tenvence/afa/上开源。

在这个领域中，最近的相关研究包括使用扩散模型进行图像生成和去噪的研究，以及使用不同的集成方法来提高模型性能的研究，如参数合并策略。