Value Residual Learning For Alleviating Attention Concentration In Transformers

变压器可以通过自注意力机制捕捉长距离依赖，使各个标记能够直接关注所有其他标记。然而，堆叠多个注意力层会导致注意力集中问题。一种自然的解决方法是使用跨层注意力，使早期层的信息可以直接被后续层访问。然而，这种方法计算成本较高。为了解决这一问题，我们提出了带有残差值的变压器（ResFormer），通过从第一层的值添加残差连接到所有后续层来近似跨层注意力。基于这种方法，一个变体是单层值变压器（SVFormer），其中所有层共享来自第一层的相同值嵌入，从而将KV缓存减少了近50%。大量的实验证据表明，ResFormer缓解了深层中的注意力集中问题，并增强了大多数层的表示能力，在训练误差和下游任务上均优于普通的变压器、DenseFormer和NeuTRENO。SVFormer的训练速度显著快于普通变压器，并且在性能上优于其他方法如GQA和CLA，其性能受序列长度和累积学习率的影响。

论文试图解决Transformer模型在堆叠多层注意力机制时出现的注意力集中问题，这是一个已知的问题，但该论文提出了一种新的方法来缓解这一问题。

论文的关键思路是通过引入残差连接（Residual Connection）从第一层的值向量到所有后续层，从而近似实现跨层注意力。此外，还提出了一个变体SVFormer，其中所有层共享同一值嵌入，减少了KV缓存的使用。这种方法在不显著增加计算成本的情况下，缓解了深层网络中的注意力集中问题。

论文通过大量的实验证明了ResFormer和SVFormer的有效性。实验设计包括训练误差和下游任务性能的比较，使用了多个基准数据集。此外，SVFormer在训练速度上显著优于传统Transformer，并且在不同序列长度和累积学习率下表现出色。论文提供了开源代码，便于复现和进一步研究。

最近在这个领域中，还有一些相关的研究，例如DenseFormer和NeuTRENO，它们也尝试通过不同的方法来缓解注意力集中问题。其他相关研究还包括GQA（Grouped Query Attention）和CLA（Cross-Layer Attention）。这些方法各有优缺点，但ResFormer和SVFormer在实验中表现出了更好的性能和效率。