Towards Scalable and Versatile Weight Space Learning

学习经过充分训练的神经网络模型的表示方法，有望提供对这些模型内部运作的理解。然而，以往的研究在处理更大的网络时面临限制，或者只针对判别或生成任务具体进行了处理。本文介绍了一种名为SANE的权重空间学习方法。SANE通过学习神经网络的任务不可知表示来克服以往的限制，这种表示可以扩展到不同结构的更大模型，并展现出超越单一任务的能力。我们的方法将超级表示法的思想扩展到对神经网络权重子集的顺序处理上，从而可以将更大的神经网络嵌入到学习表示空间的一组标记中。SANE从层嵌入中揭示出全局模型信息，可以顺序生成看不见的神经网络模型，这是以往超级表示法学习方法所无法实现的。广泛的实证评估表明，SANE在几个权重表示学习基准测试中与或超过了最先进的性能，特别是在新任务的初始化和更大的ResNet架构方面。

本文旨在通过SANE方法学习神经网络模型的权重空间表示，以提供对模型内部工作原理的理解。该方法能够处理规模更大的网络，并具有任务无关性和可扩展性。

SANE方法通过将超级表示的思想扩展到子集序列处理，从而允许将更大的神经网络作为一组令牌嵌入到学习的表示空间中。SANE从层嵌入中揭示全局模型信息，并能够顺序生成未见过的神经网络模型。

SANE方法在权重表示学习基准测试中达到或超过最先进的性能，特别是在新任务的初始化和更大的ResNet架构方面。实验使用了多个数据集，并且已经开源了代码。

与本文相关的研究包括：《Deep Hyperalignment》、《Representation Learning with Contrastive Predictive Coding》、《Understanding and Visualizing Neural Networks with Saliency Maps》等。