The Superposition of Diffusion Models Using the Itô Density Estimator

大量易于获取的预训练扩散模型的出现表明，需要有方法能够在不重新训练更大组合模型的情况下，结合多个不同的预训练扩散模型。本文中，我们在生成阶段提出了一种新颖的框架——叠加（superposition），用于结合多个预训练扩散模型。理论上，我们从著名的连续性方程出发，严格推导出叠加原理，并设计了两种专门为SuperDiff量身定制的新算法，用于结合扩散模型。SuperDiff利用了一个新的可扩展伊藤密度估计器来计算扩散随机微分方程的对数似然，相比用于散度计算的著名Hutchinson估计器，它不会带来额外的计算开销。我们展示了SuperDiff可以扩展到大型预训练扩散模型，因为叠加仅在推理过程中通过组合实现，并且由于它通过自动重新加权方案结合不同的预训练向量场，实现了无缝实施。值得注意的是，我们证明了SuperDiff在推理时是高效的，并且能够模仿传统的组合运算符，如逻辑或（OR）和逻辑与（AND）。我们通过实验证明了使用SuperDiff在CIFAR-10上生成更多样化的图像、使用Stable Diffusion进行更忠实的提示条件图像编辑以及改进无条件从头蛋白质结构设计方面的实用性。https://github.com/necludov/super-diffusion

论文试图解决的问题是如何在不重新训练的情况下，有效地结合多个预训练的扩散模型以生成更高质量和多样性的内容。这是一个新问题，因为随着扩散模型的普及，如何高效地组合这些模型以提升性能成为了一个新的研究方向。

关键思路是提出了一个名为‘superposition’的新框架，该框架通过在生成阶段组合不同的预训练扩散模型来实现这一目标。相比现有的方法，SuperDiff不需要额外的计算负担，并且可以在推理过程中自动调整不同模型的权重。这种方法不仅提高了生成内容的质量和多样性，还保持了高效的推理速度。

论文的亮点包括：1) 提出了两个新颖的算法用于结合扩散模型；2) 引入了一种可扩展的Itô密度估计器，使得SuperDiff在大规模预训练模型上也能高效运行；3) 实验表明SuperDiff可以模仿逻辑运算符（如OR和AND），从而实现更复杂的生成任务；4) 使用CIFAR-10、Stable Diffusion以及蛋白质结构设计等数据集进行了广泛的实验验证；5) 代码已开源，便于后续研究者进一步探索和改进。

最近在这个领域中，相关的研究还包括：1) ‘Composable Diffusion Models’，探讨了如何将多个扩散模型组合在一起；2) ‘Diffusion Models Beat GANs on Image Synthesis’，比较了扩散模型与GANs在图像生成上的表现；3) ‘Improved Techniques for Training Score-based Generative Models’，提出了一些改进评分型生成模型训练的技术。