Hyper-Connections

我们提出了超连接（hyper-connections），这是一种简单而有效的方法，可以作为残差连接的替代方案。该方法专门针对残差连接变体中常见的缺点进行了改进，例如梯度消失与表示坍塌之间的跷跷板效应。理论上，超连接允许网络调整不同深度特征之间的连接强度，并动态重组网络层。我们在大规模语言模型的预训练中进行了实验，包括稠密模型和稀疏模型，结果表明超连接相比残差连接带来了显著的性能提升。此外，在视觉任务上的额外实验也展示了类似的改进效果。我们预计这种方法将在广泛的AI问题中具有普遍的适用性和益处。

论文试图解决深度神经网络中残差连接（Residual Connections）的常见问题，例如梯度消失与表示塌缩之间的权衡（seesaw effect）。此外，论文探索了一种替代方案，以改善模型在大规模预训练任务中的性能。

论文提出了一种名为‘超连接’（Hyper-Connections）的新方法，允许网络动态调整不同层之间特征传递的强度，并且能够重新排列层之间的连接方式。这种方法理论上克服了传统残差连接的限制，增强了模型对复杂任务的学习能力。

实验表明，超连接在大型语言模型（包括密集和稀疏模型）的预训练中显著优于残差连接，并且在视觉任务上也表现出类似的改进效果。论文设计了多组对比实验，验证了该方法在不同架构和任务上的泛化性。虽然未提及具体数据集或代码开源情况，但研究展示了其在AI领域的广泛适用性，值得进一步探索其在其他模态数据上的表现。

相关研究包括：1) 残差网络（ResNet）及其变体的研究，如《Identity Mappings in Deep Residual Networks》；2) 动态网络结构调整的工作，如《Dynamic Network Surgery for Efficient DNNs》；3) 大规模语言模型优化技术，如《LoRA: Low-Rank Adaptation of Large Language Models》。这些工作共同构成了当前深度学习领域关于网络架构改进的研究背景。