How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

大语言模型（LLMs）在许多任务上的表现很大程度上受限于预训练期间学到并存储在模型参数中的知识。低秩适应（LoRA）是一种流行且高效的训练技术，用于更新或特定领域的适应大型语言模型。在这项研究中，我们探讨了如何在不损害先前所学知识的情况下，使用LoRA将新事实融入到大型语言模型中。我们使用不同数量的新知识对Llama-3.1-8B-instruct进行了基于LoRA的微调。实验结果显示，当训练数据包含已知和新事实的混合时，效果最佳。然而，这种方法仍然可能带来负面影响，因为在这种微调后，模型在外部问答基准测试中的表现有所下降。当训练数据偏向某些实体时，模型倾向于回归到少数过度代表的答案。此外，我们发现模型变得更加自信，并且在少数情况下拒绝提供答案。这些发现突显了基于LoRA的大型语言模型更新的潜在问题，并强调了训练数据组成和调整参数的重要性，以平衡新知识的整合和模型的整体能力。

该论文试图解决大型语言模型（LLM）在引入新知识时，如何避免遗忘已有知识的问题。这并不是一个全新的问题，但针对LLM的低秩适应（LoRA）技术进行优化是一个相对较新的研究方向。

论文的关键思路是通过LoRA技术对Llama-3.1-8B-instruct模型进行微调，以有效整合新知识而不损害原有性能。相比其他方法，这种方法更高效且资源消耗更少。研究发现，最佳效果出现在训练数据包含已知和新事实的混合时，而非单纯增加新知识。

实验设计包括使用不同比例的新旧知识组合来微调模型，并评估其在外部问答基准上的表现。结果显示，过度偏向某些实体会导致模型倾向于给出少数过代表的答案。此外，模型变得更加自信，几乎不再拒绝回答问题。这些发现强调了训练数据构成的重要性。虽然没有提及具体使用的数据集或开源代码，但研究指出了未来值得探索的方向，例如如何更好地平衡新旧知识以及调整超参数。

最近相关领域内的研究还包括：1) 使用提示学习和持续学习策略更新LLM；2) 探索不同的微调方法如P-Tuning, Qwen等；3) 研究大规模预训练模型的知识蒸馏技术。一些相关的论文标题可能为《Prompt Learning for Large Language Models》、《Continuous Learning in Pre-trained Models》、《Knowledge Distillation from Large Pre-trained Models》。