A Survey of Weight Space Learning: Understanding, Representation, and Generation

神经网络的权重通常被视为训练过程的最终产物，而当前大多数深度学习研究则聚焦于数据、特征与网络架构。然而，近期研究表明，所有可能权重值所构成的空间（即“权重空间”）本身蕴含着丰富的内在结构：预训练模型在该空间中形成有组织的分布，展现出对称性，并可被嵌入、比较，甚至生成。深入理解此类结构，将深刻影响我们分析与比较神经网络的方式，也极大拓展知识在不同模型间迁移的能力——其意义远超单次训练实例的范畴。这一正在兴起的研究方向，我们称之为“权重空间学习”（Weight Space Learning, WSL），其核心思想是将神经网络权重本身视为一个具有语义内涵、值得建模与分析的有意义领域。本综述首次为WSL构建了统一的分类体系。我们将现有方法归纳为三个核心维度：（1）权重空间理解（Weight Space Understanding, WSU），旨在揭示权重的几何结构与对称性质；（2）权重空间表征（Weight Space Representation, WSR），致力于学习权重的低维嵌入表示；（3）权重空间生成（Weight Space Generation, WSG），利用超网络或生成模型合成全新的权重。我们进一步阐明，这些进展如何赋能一系列实际应用，包括模型检索、持续学习与联邦学习、神经架构搜索，以及无需原始数据的数据重建（data-free reconstruction）。通过将此前零散分散的研究成果整合进一个逻辑自洽的框架，本综述凸显出权重空间正日益成为一个可学习、具结构化特性、且在模型分析、知识迁移与权重生成等多个方向持续产生深远影响的关键领域。我们同步公开配套资源库：https://github.com/Zehong-Wang/Awesome-Weight-Space-Learning。

传统深度学习研究将神经网络权重视为训练的副产品，缺乏对权重空间（weight space）本身作为结构化、可建模领域的系统性认知。本文旨在确立并系统化‘权重空间学习（Weight Space Learning, WSL）’这一新兴范式——即把模型权重集合视为具有几何结构、对称性、可嵌入性与可生成性的首要分析对象，而非仅服务于下游任务的中间变量。这是一个全新且尚未被统一定义的研究问题。

提出首个面向权重空间的三维度统一分类框架：Weight Space Understanding（理解权重空间的内在几何与对称性）、Weight Space Representation（学习权重的低维可比嵌入）和Weight Space Generation（通过超网络或生成模型合成新权重）。其核心创新在于将‘权重’本身升格为一阶学习对象（first-class learning domain），而非隐含在数据或架构背后的黑箱参数。

首次构建WSL领域完整 taxonomy；覆盖模型检索、无数据重建、联邦/持续学习、NAS等7类实际应用；配套开源权威资源库 Awesome-Weight-Space-Learning（GitHub）；实验涵盖ResNet/ViT/BERT等主流架构在ImageNet/CIFAR/TinyBERT等基准上的跨模型权重分析；强调权重空间的群作用（如重参数化对称性）、流形结构与语义可分性；未来方向包括权重空间的因果建模、理论泛化界推导及硬件协同压缩。

‘Neural Tangent Kernel’ (Jacot et al., NeurIPS 2018)；‘Model Soups’ (Wortsman et al., ICML 2022)；‘Weight Averaging as a Baseline for Transfer’ (Zhang et al., ICLR 2023)；‘Hypernetworks’ (Ha et al., ICML 2017)；‘Model Embeddings via Fisher Information’ (Dong et al., NeurIPS 2022)；‘Parameter Space Distillation’ (Zhou et al., CVPR 2023)；‘The Geometry of Deep Learning’ (Jin et al., IEEE T-PAMI 2024)