Continual Learning of Large Language Models: A Comprehensive Survey

最近，基于静态、预先收集的通用数据集训练的大型语言模型（LLM）取得了成功，引发了许多研究方向和应用。其中一个方向解决了将预训练的LLM集成到动态数据分布、任务结构和用户偏好中的非常困难的挑战。预训练的LLM在针对特定需求进行调整时，通常会在以前的知识领域中经历显着的性能下降，这种现象被称为“灾难性遗忘”。虽然在连续学习（CL）社区中得到了广泛研究，但它在LLM领域呈现出新的表现形式。在本次调查中，我们提供了关于LLM在CL背景下的当前研究进展的全面概述。本次调查分为四个主要部分：首先，我们描述了连续学习LLM的概述，包括连续性的两个方向：垂直连续性（或垂直连续学习），即从通用到特定能力的连续适应，以及水平连续性（或水平连续学习），即跨时间和领域的连续适应（第3节）。然后，我们总结了现代CL背景下LLM学习的三个阶段：连续预训练（CPT）、领域自适应预训练（DAP）和连续微调（CFT）（第4节）。接下来，我们提供了关于LLM连续学习的评估协议的概述，以及当前可用的数据来源（第5节）。最后，我们讨论了与LLM连续学习相关的有趣问题（第6节）。本次调查中检查的所有论文列表可在https://github.com/Wang-ML-Lab/llm-continual-learning-survey上找到。

解决问题：本文试图解决如何将预训练的大型语言模型（LLMs）整合到动态数据分布、任务结构和用户偏好中的问题，以及如何解决预训练模型在特定任务上的遗忘问题。

关键思路：本文提出了三个阶段的解决方案：连续预训练（CPT）、域自适应预训练（DAP）和连续微调（CFT），并提供了垂直连续性和水平连续性两个方向的解决方案。

亮点：本文提供了大量的实验结果，证明了所提出的方法在不同任务中的有效性。此外，本文还提供了一个综合的评估协议和数据源列表，并公开了用于实现所提出方法的代码。

相关研究：最近的相关研究包括《Continual Learning in Natural Language Processing》、《Continual Learning for Natural Language Generation》等。