Source-Aware Training Enables Knowledge Attribution in Language Models

大型语言模型（LLMs）在预训练期间学习了大量知识，但它们通常对此类知识的来源视而不见。我们研究了内在的来源引用问题，即要求LLMs引用支持生成响应的预训练来源。内在的来源引用可以增强LLM的透明度、可解释性和可验证性。为了赋予LLMs这样的能力，我们探索了源感知训练——一种后预训练配方，包括（i）训练LLM将每个文档中的知识与唯一的源文档标识符相关联，然后是（ii）指令调整，教LLM在提示时引用支持预训练源。源感知训练可以轻松地应用于现有的预训练LLMs，与现有的预训练/微调框架的差别很小。通过对精心策划的数据进行实验，我们证明了我们的训练配方可以在不对模型质量产生实质性影响的情况下，使预训练数据得到忠实的归因。我们的结果还突出了数据增强在实现归因方面的重要性。

本文旨在解决大型语言模型（LLMs）在预训练时学习大量知识，但往往对这些知识的来源视而不见的问题。作者提出了内在源引用的问题，即要求LLMs在生成响应时引用支持生成响应的预训练源。

本文提出了源感知训练的方法，该方法包括（i）训练LLMs将每个文档中的知识与唯一的源文档标识符相关联，然后（ii）进行指令调整，教授LLMs在提示时引用支持预训练源。源感知训练可以轻松应用于现有的预训练LLMs，与现有的预训练/微调框架几乎没有区别。

本文的实验结果表明，与标准预训练相比，我们的训练方法可以实现对预训练数据的忠实归属，对模型的质量影响不大。作者还强调了数据增强在实现归属方面的重要性。

最近在这个领域中，还有一些相关的研究，如BERT、GPT等。