MemoryFormer: Minimize Transformer Computation by Removing Fully-Connected Layers

为了降低大型语言模型的计算复杂度， 人们在提高Transformer模型效率方面做出了巨大努力， 例如线性注意力和闪注意力。然而，为了追求更高的性能， 模型规模和相应的计算复杂度不断升级。在这项工作中， 我们提出了MemoryFormer，这是一种新颖的Transformer架构， 从新的角度显著降低了计算复杂度（FLOPs）。我们几乎消除了Transformer模型中除多头注意力操作所需必要计算之外的所有计算。 这是通过使用一种替代方法进行特征转换来实现的，以取代全连接层中的线性投影。具体来说， 我们首先构建一组内存查找表，存储大量离散向量，以替代线性投影中使用的权重矩阵。 然后，我们使用哈希算法根据输入嵌入动态检索相关的一组向量。检索到的向量组合起来形成输出嵌入， 这为全连接层中的矩阵乘法操作结果提供了一个估计。与执行矩阵乘法相比， 从内存中检索数据块是一个成本更低的操作，需要的计算量很少。我们从零开始训练MemoryFormer， 并在各种基准上进行了广泛的实验，以证明所提模型的有效性。

该论文旨在解决大型语言模型中的计算复杂度问题，尤其是随着模型规模的不断扩大，计算资源需求日益增加的问题。这是一个持续存在的问题，但MemoryFormer提出了一种新的方法来减少计算复杂度。

MemoryFormer的关键思路是通过在内存中构建查找表并使用哈希算法动态检索相关向量，来替代传统的线性投影和全连接层的矩阵乘法操作。这种方法大大减少了计算量，因为从内存中检索数据块比执行矩阵乘法要便宜得多。这一创新在于利用内存操作的高效性来替代计算密集型的操作。

论文通过广泛的实验验证了MemoryFormer的有效性，包括在多个基准数据集上的性能测试。实验设计严谨，涵盖了多种任务和场景。此外，论文还提供了开源代码，便于其他研究人员复现和进一步研究。未来的工作可以集中在优化哈希算法、扩展到更大规模的模型以及探索在不同应用场景中的表现。

近期在这个领域中，有许多相关的研究，例如：1)《Linear Transformers Are Secretly Fast Weight Memories》提出了线性变换器来减少计算复杂度；2)《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》介绍了FlashAttention，通过优化IO操作来提高效率；3)《Efficient Attention: Attention with Linear Complexities》探讨了线性复杂度的注意力机制。这些研究都在尝试不同的方法来提高Transformer模型的效率。