$\text{Memory}^3$: Language Modeling with Explicit Memory

本文介绍了如何通过赋予大型语言模型（LLMs）显式内存来减少训练和推理的成本，从而将知识从原始数据传递到有意义的计算中。该方法受到人类大脑记忆层次结构的启发，通过使用比模型参数和文本检索增强生成（RAG）更便宜的内存格式来优化LLMs。概念上，大部分知识都外部化到显式内存中，因此LLM可以具有更小的参数大小、更低的训练成本和推理成本，这些成本都与剩余的“抽象知识”数量成比例。作为初步的概念验证，作者从头开始训练了一个2.4B的LLM，其性能优于更大的LLMs和RAG模型，并且比RAG模型具有更高的解码速度。该模型被命名为$\text{Memory}^3$，因为显式内存是LLMs中的第三种记忆形式，其前两种形式分别是隐式内存（模型参数）和工作内存（上下文键值）。作者提出了一种内存电路理论来支持知识的外部化，并介绍了一些新技术，包括内存稀疏化机制和两阶段预训练方案，以促进内存的形成。

论文旨在减少大型语言模型（LLMs）的训练和推理成本。它通过引入显式内存的概念，将LLMs的大部分知识外部化到内存中，从而实现更小的参数大小、更低的训练成本和推理成本。

论文的关键思路是将LLMs的知识外部化到显式内存中，从而减少参数的数量和计算成本，并提高模型的推理速度。

论文提出了一种新的大型语言模型Memory3，它具有显式内存和文本检索增强生成（RAG）的特点，并在从头开始的训练中取得了比更大的LLMs和RAG模型更好的性能。论文还提出了一种内存稀疏化机制和一个两阶段预训练方案，以便更好地形成内存。实验使用了2.4B的参数量，但是比其他更大的模型表现更好。

近期的相关研究包括GPT-3和T5等大型语言模型，以及RAG模型。