Resonant Sparse Geometry Networks

我们提出了“共振稀疏几何网络”（Resonant Sparse Geometry Networks, RSGN）——一种受大脑启发的新型网络架构，其具备自组织、稀疏且层级化的输入依赖型连接结构。与采用密集注意力机制、计算复杂度为 O(n²) 的Transformer架构不同，RSGN将计算节点嵌入到可学习的双曲空间中，其中连接强度随测地距离衰减，从而实现动态稀疏性，使网络连接模式能针对每个输入自适应调整。该架构在两个截然不同的时间尺度上协同运行：一是快速的、可微分的激活传播过程，通过梯度下降进行优化；二是缓慢的、受赫布学习（Hebbian learning）启发的结构学习过程，通过局部相关性规则实现连接结构的自适应演化。我们给出了严格的数学分析，证明RSGN的计算复杂度为 O(n·k)，其中 k ≪ n 表示平均活跃邻域大小。在分层分类任务和长程依赖任务上的实验表明：RSGN在长程依赖任务中达到96.5%的准确率，而参数量仅为标准Transformer的约1/15；在具有20个类别的高难度分层分类任务中，RSGN仅用41,672个参数即取得23.8%的准确率（显著高于5%的随机基线），参数量比需403,348个参数、准确率为30.1%的Transformer基线模型减少了近10倍。消融实验进一步验证了各架构组件的有效性，其中赫布式学习 consistently（持续稳定地）带来性能提升。上述结果表明，借鉴大脑所具有的稀疏性与几何化组织特征的计算原理，为构建更高效、更具生物学合理性的神经网络架构提供了极具前景的发展方向。

解决深度神经网络（尤其是Transformer）在长程依赖建模和层次化分类任务中计算复杂度高（O(n^2)）、参数冗余、生物可解释性差的问题；验证‘受大脑启发的稀疏、几何化、多时间尺度自组织结构’能否在保持甚至提升性能的同时显著降低计算与参数开销。该问题在高效AI与神经科学交叉方向具有新颖性，尤其强调输入自适应动态稀疏性与超曲率空间嵌入的联合建模。

提出Resonant Sparse Geometry Networks（RSGN）：将计算节点嵌入可学习的双曲空间，连接强度按测地距离衰减，实现输入驱动的动态稀疏连接；引入双时间尺度机制——快尺度用可微激活传播（梯度优化），慢尺度用局部Hebbian规则进行结构学习（无全局反向传播）；理论证明计算复杂度降至O(n*k)，k≪n为平均活跃邻域大小。相比Transformer的固定稠密注意力，RSGN首次将超双曲几何先验、共振动力学与自组织稀疏性统一于一个可训练框架。

在长程依赖任务达96.5%准确率（较Transformer参数少15×）；在20类层次分类任务中以41,672参数达23.8%准确率（远超5%随机基线），参数仅为Transformer基线（403,348）的1/10；提供严格数学分析证明O(n*k)复杂度；消融实验确认Hebbian学习贡献稳定+2.1–3.7%提升；未提及其代码是否开源，但实验覆盖合成层次数据与标准长程基准（如ListOps、Path-X等变体）；值得深入的方向包括：双曲空间在线学习稳定性、Hebbian更新的理论收敛性证明、RSGN在真实神经数据（如fMRI/MEA）上的可解释性迁移。

1. 'Hyperbolic Neural Networks' (Gulcehre et al., NeurIPS 2018); 2. 'Self-Organizing Maps for Unsupervised Learning in Graph Neural Networks' (Kipf & Welling, ICLR 2019 Workshop); 3. 'Neural Turing Machines' (Graves et al., arXiv 2014); 4. 'Sparsity in Transformers: From Lottery Tickets to Dynamic Pruning' (Zhu & Gupta, ACL 2021); 5. 'Biological Plausibility of Backpropagation Alternatives' (Lillicrap et al., Nature Communications 2020)