Differential Transformer

Transformer模型往往会过度关注与上下文无关的内容。在本文中，我们引入了Diff Transformer模型，通过放大与上下文相关的注意力并消除噪音来解决这个问题。具体来说，差分注意力机制通过计算两个独立的softmax注意力图之间的差异来计算注意力分数。这种减法可以消除噪音，促进稀疏的注意力模式的出现。语言建模的实验结果表明，Diff Transformer在不同的模型规模和训练令牌设置下优于Transformer。更有趣的是，它在实际应用中具有明显的优势，如长上下文建模、关键信息检索、幻觉缓解、上下文学习和激活异常值的降低。通过减少对无关上下文的干扰，Diff Transformer可以缓解问答和文本摘要中的幻觉问题。对于上下文学习，Diff Transformer不仅提高了准确性，而且更加稳健，可以解决被认为是长期稳健性问题的顺序置换问题。这些结果将Diff Transformer定位为一种高效且具有前途的架构，可用于推动大型语言模型的发展。

Diff Transformer试图解决Transformer模型在处理大量无关上下文时过度分配注意力的问题，并提出了一种差分注意力机制来增强对相关上下文的注意力。

差分注意力机制通过计算两个独立的softmax注意力图之间的差异来减少噪声，从而促进稀疏注意力模式的出现。这种机制可以减轻问答和文本摘要中的幻觉，并提高准确性和鲁棒性。

论文的实验结果表明，Diff Transformer在各种模型规模和训练标记设置下优于Transformer。它还在长上下文建模、关键信息检索、减少激活异常值等实际应用中具有显着优势。论文提出的差分注意力机制为大型语言模型的发展提供了高效和有前途的架构。

最近的相关研究包括：《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。