Neural Network Diffusion

扩散模型在图像和视频生成方面取得了显著的成功。在这项工作中，我们展示了扩散模型也可以生成高性能的神经网络参数。我们的方法很简单，利用自编码器和标准的潜在扩散模型。自编码器提取了训练网络参数子集的潜在表示。然后训练扩散模型，从随机噪声中合成这些潜在参数表示。它随后生成新的表示，这些表示通过自编码器的解码器，其输出可用作新的网络参数子集。在各种架构和数据集中，我们的扩散过程始终生成与训练网络相当或更好性能的模型，成本最小。值得注意的是，我们实证发现生成的模型与训练网络的性能不同。我们的结果鼓励更多探索扩散模型的多功能使用。

本文试图利用扩散模型生成高性能神经网络参数，解决神经网络参数优化问题。这是一个新问题。

文章的关键思路是使用自编码器和标准的潜在扩散模型来生成训练网络参数的潜在表示，并将其用作新的子集网络参数。生成的模型的性能与训练网络相当甚至更好。

实验结果表明，生成的模型的性能与训练网络相当甚至更好，而且生成的模型的性能与训练网络不同。这项工作为神经网络参数优化提供了一种新的思路，值得深入研究。

最近的相关研究包括：1.《Generative Models for Effective ML on Private, Decentralized Datasets》；2.《Learning Transferable Graph Exploration》；3.《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》。