LAuReL: Learned Augmented Residual Layer

高效深度学习方法的核心支柱之一是架构改进，例如残差/跳连接，这已经显著提高了模型的收敛性和质量。自那以后，残差连接不仅在卷积神经网络中变得普遍，还在基于变换器的架构中广泛使用，后者是大语言模型的骨干。 本文介绍了 *Learned Augmented Residual Layer* (LAuReL)——这是经典残差连接的一种新颖泛化形式，旨在作为后者的原位替代方案，同时在模型质量和占用空间指标上表现出色。我们的实验表明，使用 LAuReL 可以提升视觉和语言模型的性能。例如，在 ResNet-50 和 ImageNet 1K 任务中，它能够实现增加一层带来的 60% 的性能提升，而仅增加了 0.003% 的参数量，并且在增加 2.6 倍更少的参数量时达到相同的性能。

该论文试图通过引入一种新的残差连接方法——Learned Augmented Residual Layer (LAuReL)，来提高深度学习模型的性能和效率。这是一个在现有残差连接基础上的改进问题，旨在解决传统残差连接可能存在的性能瓶颈。

关键思路是通过设计LAuReL，这是一种对经典残差连接的泛化形式，能够在不显著增加模型参数的情况下提升模型性能。与传统的残差连接不同，LAuReL通过学习增强的方式，使得模型能够更有效地利用深层结构中的信息。

论文通过实验展示了LAuReL在多个任务上的优越性，包括视觉和语言任务。例如，在ResNet-50和ImageNet 1K任务上，LAuReL能够在仅增加0.003%参数的情况下，实现60%的性能提升，相当于添加了一个额外的网络层的效果。此外，LAuReL还能够在参数量增加2.6倍少的情况下，达到与增加一个额外层相同的性能。这些实验结果表明，LAuReL具有较高的实用价值。论文还提供了开源代码，便于其他研究者复现和进一步研究。

近期在这个领域，有许多相关的研究工作，例如： 1. "Deep Residual Learning for Image Recognition" - 介绍了原始的残差网络（ResNet），奠定了深度学习中残差连接的基础。 2. "Identity Mappings in Deep Residual Networks" - 进一步探讨了残差网络中的恒等映射，提高了模型的训练效果。 3. "Attention is All You Need" - 提出了Transformer架构，广泛应用于自然语言处理任务，也受益于残差连接的改进。 4. "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" - 探讨了如何高效地扩展卷积神经网络，其中也涉及到了残差连接的优化。