Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs

大型语言模型可能会记忆并重复它们的训练数据，从而导致隐私和版权风险。为了减轻记忆，我们引入了一种微妙的修改，称为金鱼损失，用于下一个标记的训练目标。在训练过程中，随机抽取一部分标记并从损失计算中排除。这些被丢弃的标记不会被模型记忆，从而防止完全重复训练集中的标记链。我们进行了大量实验，训练了亿级Llama-2模型，包括预训练和从头开始训练的模型，并证明了可提取记忆的显着减少，对下游基准测试的影响很小甚至没有影响。

如何减少大型语言模型中的记忆化现象，从而降低隐私和版权风险？

通过引入一种名为Goldfish Loss的微调方法，随机从损失计算中排除一部分标记，从而防止模型完全重复训练集中的标记序列，从而减少记忆化现象。

论文在亿级别的Llama-2模型上进行了广泛实验，证明了Goldfish Loss方法可以显著降低可提取的记忆化现象，同时对下游基准测试几乎没有影响。论文还提供了数据集和代码。

最近的相关研究包括《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》和《Language Models as Few-Shot Learners》等。