AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees

大型语言模型（LLMs）越来越能够通过从静态预训练语料库中调用信息来完成知识密集型任务。在这里，我们关注LLMs在不断变化的数据需求背景下的应用。例如：定期引入的新数据批次；具有基于用户的访问控制的数据子集；或者要求动态删除文档并保证相关知识无法被调用的要求。我们希望在满足这些要求的同时，确保模型在新数据可用时不会忘记旧信息。为了解决这些问题，我们引入了AdapterSwap，这是一种训练和推理方案，它将数据集中的知识组织成一组低秩适配器，并在推理过程中动态组合。我们的实验证明了AdapterSwap支持高效的持续学习的能力，同时还使组织能够对数据访问和删除进行细粒度控制。

论文旨在解决在不断变化的数据需求下，如何保证模型在引入新数据时不遗忘旧有信息的问题。

AdapterSwap是一种训练和推理方法，将数据集中的知识组织成一组低秩适配器，在推理过程中动态组合这些适配器，从而支持高效的持续学习，并使组织能够对数据访问和删除进行细粒度控制。

论文的实验结果表明，AdapterSwap能够支持高效的持续学习，并使组织能够对数据访问和删除进行细粒度控制。此外，论文还提供了开源代码和使用的数据集，为后续的研究提供了参考。

在这个领域中，还有一些相关的研究被进行，例如《Continual Learning with Deep Generative Replay》、《Gradient Episodic Memory for Continual Learning》等。