An Evolved Universal Transformer Memory

先前的方法提出通过手工设计的规则删除现代基础模型上下文中的特定部分来抵消其不断上升的成本，同时试图保持其原始性能。我们通过神经注意力内存模型（NAMMs）克服了这一权衡，引入了一个用于内存管理的学习网络，从而提高了变压器的性能和效率。我们在预训练的变压器基础上发展NAMMs，为不同的潜在上下文提供服务，这些上下文专注于各个层和注意力头最相关的信息。NAMMs可以普遍应用于任何使用自注意力机制的模型，因为它们仅依赖于生成的注意力矩阵中的值。通过在一小部分问题上学习NAMMs，我们在多个长上下文基准测试中实现了显著的性能提升，同时将模型的输入上下文减少到原来大小的一小部分。我们展示了我们的条件设置的通用性，使得仅在语言任务上训练的NAMMs能够零样本迁移到全新的变压器架构，即使是在不同输入模态之间，其优势也能延续到视觉和强化学习领域。

该论文试图解决现代基础模型中因处理长上下文而产生的高昂计算成本问题。这是一个在大规模语言模型和视觉模型中普遍存在的问题，特别是在需要处理长序列的任务中。

论文提出了一种称为神经注意力记忆模型（Neural Attention Memory Models, NAMMs）的方法，通过引入一个学习型网络来管理内存，从而优化变压器模型的性能和效率。与传统的手动设计规则不同，NAMMs能够自适应地为每个层和注意力头提供最相关的上下文信息，从而在减少输入上下文大小的同时保持或提升模型性能。

论文展示了NAMMs在多个长上下文基准测试中的显著性能提升，并且能够在不牺牲性能的情况下大幅减少模型的输入上下文大小。此外，NAMMs的通用性使其能够零样本迁移到不同的任务和模态，包括视觉和强化学习任务。论文还提到，NAMMs仅需在一个小数据集上训练即可实现这些效果，这表明其具有很高的泛化能力。目前，论文未提及是否有开源代码，但这一方法的潜力值得进一步探索和实现。

近年来，针对变压器模型的优化方法层出不穷。例如，《Compressing Transformers with Pruning and Quantization》探讨了通过剪枝和量化来压缩模型；《Longformer: The Long-Document Transformer》提出了Longformer，通过局部窗口和全局注意力机制来处理长文档；《Big Bird: Transformers for Longer Sequences》则引入了稀疏注意力机制来扩展变压器的上下文长度。NAMMs在这些方法的基础上，通过学习型内存管理进一步提升了模型的效率和性能。