Test-time regression: a unifying framework for designing sequence models with associative memory

序列提供了一种极其通用的方式来表示和处理信息。这种强大的抽象方法使序列建模成为现代深度学习应用的核心，激发了从变压器到循环网络的众多架构。尽管这种分散的发展产生了强大的模型，但它使我们缺乏一个统一的框架来理解这些模型的基本相似性并解释其有效性。我们提出了一种统一框架，该框架基于一个经验观察：有效的序列模型必须能够进行联想回忆。我们的关键见解是，通过联想记忆记住输入标记等同于在测试时执行回归。这种回归-记忆对应关系提供了一个推导能够进行联想回忆的序列模型的框架，为理解看似随意的架构选择提供了系统性的视角。我们展示了包括线性注意力模型、其门控变体、状态空间模型、在线学习者和softmax注意力在内的多种最新架构，它们自然地作为测试时回归的具体方法出现。每个架构对应三个设计选择：每个关联的相对重要性、回归函数类以及优化算法。这种联系带来了新的理解：我们为softmax注意力中的QKNorm提供了理论依据，并激励了softmax注意力的高阶泛化。除了统一之外，我们的工作还解锁了数十年丰富的统计工具，可以指导更强大且有原则的序列模型的未来发展。

该论文试图解决的问题是为各种序列模型（如变换器和递归网络）提供一个统一的理论框架，以理解它们的根本相似性和解释其有效性。这并不是一个全新的问题，但之前的研究未能提供一个全面的框架来涵盖这些模型。

关键思路是提出了一种基于关联记忆的统一框架，认为有效的序列模型必须能够执行关联回忆。作者指出，通过关联记忆存储输入标记等同于在测试时执行回归。这一回归-记忆对应关系提供了一个系统性的视角来理解和推导可以进行关联回忆的序列模型。相比现有研究，此方法提供了一个更为通用和系统的理解方式。

论文展示了多个最近的架构，包括线性注意力模型、门控变体、状态空间模型、在线学习者和softmax注意力，自然地作为测试时间回归的具体方法出现。每个架构对应三个设计选择：每个关联的相对重要性、回归函数类和优化算法。此外，作者提供了对softmax注意力中QKNorm的理论依据，并激发了更高阶的softmax注意力泛化。值得注意的是，这项工作连接了统计工具，为未来更强大且有原则的序列模型开发铺平了道路。论文没有具体提及实验设计、数据集或开源代码，但提出了许多值得深入研究的方向。

最近在这个领域内，还有其他相关研究，例如《Attention is All You Need》介绍了变换器模型；《Long Short-Term Memory》探讨了LSTM网络；《Recurrent Neural Networks for Language Modeling》讨论了循环神经网络在语言建模中的应用；以及《Universal Transformers》提出了通用变换器的概念。