How much do language models memorize?

我们提出了一种新方法，用于估计模型对某个数据点“了解”的程度，并用该方法衡量现代语言模型的容量。以往关于语言模型记忆的研究难以将记忆与泛化区分开来。我们正式将记忆分解为两个组成部分：**无意记忆**（unintended memorization），即模型中包含的关于特定数据集的信息，以及**泛化**（generalization），即模型中包含的关于真实数据生成过程的信息。当我们完全消除泛化时，可以计算出总的记忆量，这提供了模型容量的一个估计值：我们的测量结果估计 GPT 类型的模型每参数的容量约为 3.6 比特。我们使用逐渐增大的数据集训练语言模型，并观察到模型会在其容量填满之前进行记忆；此时，“grokking”（深刻理解）开始发生，无意记忆随着模型开始泛化而减少。我们训练了从 50 万参数到 15 亿参数的数百个变压器语言模型，并得出了一系列与模型容量和数据规模相关的缩放定律，这些定律与成员推断相关。

该论文试图解决如何量化语言模型对数据点的‘知识’，并区分模型中的记忆和泛化能力。这是一个新问题，因为它正式分离了无意记忆（关于特定数据集的信息）和泛化（关于真实数据生成过程的信息）。

论文的关键思路是通过消除泛化来测量模型的总记忆容量，从而估计模型的能力。研究者提出了一种方法将记忆分为无意记忆和泛化，并观察到当模型容量达到上限时，‘grokking’现象开始出现，即无意记忆减少而泛化增加。相比现有研究，这种方法能够更清晰地评估模型的记忆能力和泛化边界。

研究训练了数百个参数范围从50万到15亿的Transformer模型，并发现了与模型容量和数据规模相关的缩放规律。实验设计包括在不同数据集大小上训练模型，并观察记忆和泛化的变化趋势。此外，研究发现GPT风格模型的容量约为每参数3.6比特。虽然论文未明确提及代码开源，但其提出的理论框架值得进一步验证和扩展。

最近的相关研究包括：1)《Measuring Memorization in Large Language Models》探讨了记忆与泛化的界限；2)《The Grokking Curve: Generalization Beyond Overfitting on Small Datasets》研究了小数据集上的过拟合后泛化现象；3)《On the Emergence of Memory-Efficient Scaling Laws for Transformer Models》分析了Transformer模型的缩放规律及其对记忆效率的影响。