Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers

Transformer架构通过有效地处理长程依赖，显著推进了深度学习，尤其是在自然语言处理领域。然而，随着对复杂关系理解的需求增加，改进Transformer的架构变得至关重要。本文引入了Skip-Layer Attention（SLA）来增强Transformer模型，使其能够在非相邻层之间直接进行注意力计算。这种方法提高了模型捕捉高层抽象特征和低层细节之间依赖关系的能力。通过促进这些不同特征层之间的直接注意力，我们的方法克服了当前Transformer的局限性，后者通常依赖于次优的层内注意力。我们的实现通过使给定层中的查询与当前层和前一层的键和值进行交互，从而增强了多头注意力的多样性，而不会增加额外的计算负担。广泛的实验表明，我们增强的Transformer模型在语言建模任务中取得了卓越的性能，突显了我们的跳层注意力机制的有效性。

本文试图通过引入Skip-Layer Attention（SLA）来增强Transformer模型，以便直接关注非相邻层之间的信息，从而解决当前Transformer模型中存在的限制问题。

本文提出了Skip-Layer Attention（SLA）机制，使得查询在给定层中与前一层的键和值进行交互，从而增强了多头注意力的多样性，同时避免了当前Transformer模型中的子优化内部层注意力的问题。

本文的实验结果表明，通过引入Skip-Layer Attention（SLA）机制的Transformer模型在语言建模任务中表现出优异的性能，这也表明了Skip-Layer Attention（SLA）机制的有效性。

在当前领域中，还有一些相关研究，如：《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。