InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions

指令调整有效地优化了大型语言模型（LLM）的下游任务。由于现实应用中环境的变化，LLM需要不断进行特定任务的适应，而不会发生灾难性的遗忘。考虑到计算成本的重大影响，基于重放的持续学习（CL）方法是解决LLM遗忘问题的最简单和最广泛使用的方法。然而，传统的基于重放的方法没有充分利用指令来定制重放策略。在这项工作中，我们提出了一种新的范式，称为基于指令的持续学习（InsCL）。InsCL根据使用Wasserstein距离计算出的任务相似度动态重放先前的数据。此外，我们进一步引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性。根据InsInfo，InsCL指导重放过程更倾向于高质量的数据。我们在16个具有不同训练顺序的任务上进行了大量实验，观察到InsCL的一致性性能改进。当所有任务都被训练后，InsCL相对于随机重放获得了3.0的相对收益，相对于无重放获得了27.96的相对收益。

论文旨在解决大型语言模型（LLMs）在下游任务中的连续学习问题，尤其是如何在不遗忘之情况下进行任务特定的自适应。

论文提出了一种基于指令的连续学习（InsCL）范例，通过使用指令计算任务相似度来动态重放以前的数据，同时引入指令信息度量（InsInfo）来指导回放过程更倾向于高质量数据。

论文在16个不同的任务上进行了广泛的实验，观察到InsCL的一致性性能改进。当所有任务都被训练时，相对于随机回放，InsCL获得了3.0的相对增益，相对于无回放，InsCL获得了27.96的相对增益。

最近的相关研究包括《Continual Learning with Feedback-Gated Memory for Neural Machine Translation》、《Continual Learning for Natural Language Generation》等。