Multi-Token Attention

软注意力是大型语言模型（LLMs）用于在给定上下文中定位相关部分的关键机制。然而，单个注意力权重仅由单一查询向量和键向量的相似性决定。这种“单标记注意力”限制了用于区分相关部分与其余上下文的信息量。为了解决这一问题，我们提出了一种新的注意力方法——多标记注意力（Multi-Token Attention, MTA），它使大型语言模型能够同时基于多个查询向量和键向量来调整注意力权重。这是通过在查询、键和头（heads）上应用卷积操作实现的，从而允许邻近的查询和键相互影响其注意力权重，以实现更精确的注意力分配。因此，我们的方法能够利用更丰富、更细致的信息来定位相关上下文，这些信息超出了单一向量的能力范围。通过广泛的实验评估，我们证明MTA在多个流行的基准测试中表现优异。特别是在标准的语言建模任务中，MTA超越了Transformer基线模型；而在需要在长上下文中搜索信息的任务中，我们的方法利用更丰富信息的能力显得尤为有利。

论文试图解决当前Transformer模型中注意力机制的局限性问题，即单个查询向量与键向量之间的相似性计算不足以充分区分相关上下文。这是一个已知问题，但该研究提出了一种新的方法来应对这一挑战。

关键思路是引入多令牌注意力（MTA）机制，通过卷积操作将多个查询和键向量的信息结合起来，从而允许附近的查询和键相互影响注意力权重。相比传统的单令牌注意力，MTA能够利用更丰富的信息来定位相关上下文，提升模型在长文本任务中的表现。

论文通过广泛的实验验证了MTA的有效性，特别是在需要搜索长上下文的任务中表现出色。实验涵盖了标准的语言建模任务和长文档处理任务，并且展示了显著优于Transformer基线模型的结果。虽然论文未明确提及代码开源情况，但其提出的卷积注意力设计为未来研究提供了新方向，例如如何进一步优化卷积操作或探索其在其他模态数据上的应用。

近期相关研究包括《Longformer: The Long-Document Transformer》、《Big Bird: Transformers for Longer Sequences》和《Performer: Generalized Attention with RPEs and Performer Kernels》，这些工作都试图解决长序列建模的问题。此外，《Linformer: Self-Attention with Linear Complexity》提出了降低注意力复杂度的方法，而《Reformer: The Efficient Transformer》则通过局部敏感哈希等技术优化了注意力计算。这些研究共同构成了当前对改进注意力机制的探索浪潮。