Diffusion Models are Evolutionary Algorithms

在机器学习和生物学的交叉领域中，我们揭示了扩散模型是进化算法。通过将进化视为去噪过程，反向进化视为扩散，我们在数学上证明了扩散模型固有地执行进化算法，自然地包含了选择、突变和生殖隔离。基于这种等价性，我们提出了扩散进化方法：一种利用迭代去噪（最初在扩散模型的上下文中引入）的进化算法，以在参数空间中启发式地优化解决方案。与传统方法不同，扩散进化可以高效地识别多个最优解，并胜过著名的主流进化算法。此外，利用扩散模型的先进概念，即潜空间扩散和加速采样，我们介绍了潜空间扩散进化，它可以在高维复杂参数空间中找到进化任务的解决方案，同时显著减少计算步骤。扩散和进化之间的这种并行不仅桥接了两个不同的领域，而且为相互增强开辟了新的途径，引发了关于开放式进化的问题，并可能在扩散进化的上下文中利用非高斯或离散扩散模型。

论文通过将漂移模型与进化算法相结合，提出了一种新的演化算法Diffusion Evolution，旨在高效地在参数空间中寻找多个最优解。同时，论文还探讨了漂移和进化之间的相似性以及这种相似性对于开放式演化的启示。

论文提出了一种基于漂移模型的演化算法Diffusion Evolution，该算法利用迭代去噪的方式在参数空间中寻找最优解。与传统的演化算法相比，该算法能够高效地找到多个最优解。

论文探讨了漂移和进化之间的相似性，并提出了一种基于此相似性的演化算法。论文还介绍了Latent Space Diffusion Evolution，该算法利用漂移模型中的潜空间漂移和加速采样，能够高效地在高维复杂参数空间中寻找最优解。实验结果表明，Diffusion Evolution比主流的进化算法表现更好。论文还提出了一些开放式演化的思考。

近期在演化算法和漂移模型领域中的相关研究包括：《Evolutionary Computation: A Unified Approach》、《Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting》、《Deep Diffusion Processes for Topic Modeling》等。