Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning

近年来，大型语言模型（LLM）在生成类人文本方面表现出了显著的性能，被证明是各种应用中的有价值的资产。然而，将这些模型调整以纳入新的领域外知识仍然是一个挑战，特别是对于模型知识截止日期之后发生的事实和事件。本文研究了监督微调（SFT）作为LLM中知识注入方法的有效性，特别关注最近体育赛事领域。我们比较了不同的数据集生成策略——基于标记和基于事实的缩放——以创建训练数据，帮助模型学习新信息。我们在GPT-4上的实验表明，虽然基于标记的缩放可以提高问答准确性，但可能无法提供对新知识的均匀覆盖。另一方面，基于事实的缩放提供了一种更系统的方法，以确保所有事实都得到均匀覆盖。我们提出了一种新颖的数据集生成过程，通过SFT实现更有效的知识摄取，我们的结果显示，在涉及领域外知识的问答任务中，性能有了显著的提高。本研究有助于理解LLM的领域适应，并突显了SFT在增强特定知识领域LLM响应的真实性方面的潜力。

本论文旨在探讨如何将新的知识注入到大型语言模型中，以解决模型在领域外的知识缺失问题。具体而言，以最近的体育赛事为例，研究监督微调（SFT）方法在大型语言模型中的适用性。

本文提出了一种新的数据集生成方法来实现SFT的有效知识注入，该方法包括基于标记和基于事实的缩放方法。相比于基于标记的方法，基于事实的方法能够更加系统地覆盖所有的事实，从而提高模型对领域外知识的准确性。

本文的实验是基于GPT-4模型进行的，研究表明，本文提出的基于事实的缩放方法能够显著提高模型在领域外知识问答任务中的表现。此外，本文的数据集生成方法以及SFT方法都具有很高的可复现性，可以为后续相关研究提供参考。

目前，针对大型语言模型中领域适应性的研究比较活跃。例如，有研究探讨了如何通过多任务学习来提高模型的领域适应性，也有研究探讨了如何通过迁移学习来实现模型的知识迁移。相关的论文包括《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》和《A Survey of Transfer Learning》等。