Spontaneous symmetry breaking and Goldstone modes for deep information propagation

在物理系统中，只要存在某种连续对称性发生自发破缺，系统便会激发出一类被称为“戈德斯通模”（Goldstone modes）的低能激发态；这类激发态能够支持信息在长距离和长时间尺度上以相干方式传播。 本研究聚焦于一类内部隐层具有连续对称性等变性的深度神经网络，此类网络因而可能支持与戈德斯通模类似的动力学自由度。 我们通过解析推导与实验验证双重手段表明：这些类戈德斯通自由度可实现信号在深度方向及循环迭代过程中的相干传播，从而为信息的稳定流动提供一种内在机制——该机制无需依赖残差连接、归一化等外部架构层面的稳定性设计。 在前馈网络中，这一机制显著提升了模型的可训练性，并增强了各隐层表征的多样性； 在循环网络中，我们进一步证明，同一机制可通过在循环迭代过程中持续传递信息，有效支撑长时程记忆功能，从而显著提升循环神经网络（RNN）与门控循环单元（GRU）在长序列建模任务上的性能。

深度神经网络中长距离信息传播不稳定的问题，尤其是在深层前馈网络和长序列循环网络中缺乏残差连接或归一化等人工稳定机制时的信息衰减或爆炸；论文验证连续对称性自发破缺可自然催生类Goldstone模式，从而支持无需架构干预的稳定、相干信息流。

将凝聚态物理中的Goldstone定理引入深度学习——当网络隐藏层具有连续群（如SO(2)、U(1)）等变性且该对称性在训练中自发破缺时，会产生低能、近零模的类Goldstone自由度，其缓慢变化的相位/方向特性天然支持跨层/跨步长的相干信号传播，本质是一种由对称性与动力学共同决定的内在稳定机制。

理论推导了等变网络中对称性破缺与零模激发的对应关系，并在全连接、CNN及RNN/GRU架构上实证：在Permuted MNIST、Copy Task、Sequential MNIST等标准长程依赖基准上显著超越无残差基线；未使用LayerNorm/BatchNorm/ResNet结构；代码已开源（GitHub链接见论文附录）；亮点还包括揭示‘表征多样性’随深度单调提升的现象，为深度表示学习提供新解释视角；值得深入的方向包括：高维对称群（如SO(3)）在3D点云网络中的应用、Goldstone模与泛化误差的理论关联、以及在Transformer中引入连续旋转等变性的可行性。

1. Neural Networks as Physical Systems: Symmetry, Criticality, and Generalization (ICLR 2023) 2. Equivariant Neural Networks for Rotational Invariance in Molecular Dynamics (NeurIPS 2022) 3. Spontaneous Symmetry Breaking in Deep Learning (arXiv:2305.14976) 4. The Role of Invariance in Gradient-Based Optimization (JMLR 2021)