Understanding Finetuning for Factual Knowledge Extraction

本研究探讨了QA fine-tuning数据对下游事实性的影响。我们发现，在fine-tuning那些预训练过程中存储较差的、不太知名的事实时，其事实性明显较差，即使所有事实在预训练期间都被看到。我们从理论上证明了这种现象，表明fine-tuning那些不太知名的事实可能导致模型忽略主体实体名称，而是输出一个通用的可能的答案，即使相关的事实知识已经编码在模型中。在三个问答基准测试（PopQA、Entity Questions和MMLU）和两个语言模型（Llama-2-7B和Mistral-7B）上，我们发现：（i）fine-tuning在完全事实但较不知名的数据子集上会降低下游事实性（5-10%），（ii）fine-tuning在一些更知名的例子子集上可以匹配或优于在整个数据集上的fine-tuning。最终，我们的结果揭示了预训练知识和fine-tuning数据之间的相互作用，并证明了在fine-tuning知识密集型任务时，考虑事实在预训练模型中的存储方式的重要性。

论文旨在研究QA fine-tuning数据对下游factuality的影响。具体来说，研究表明在pretraining期间存储不良的知识点，会导致fine-tuning后的模型factuality显著下降。论文试图探究这种现象，并提出解决方案。

论文的关键思路在于，要在fine-tuning时考虑pretrained模型中的知识点存储方式，以避免忽略特定实体的名称，导致输出通用的回答。论文提出了一种基于知识点存储方式的fine-tuning策略，以提高QA模型的factuality。

论文在三个QA基准测试（PopQA，Entity Questions和MMLU）和两个语言模型（Llama-2-7B和Mistral-7B）上进行了实验，发现fine-tuning在完全基于事实但知名度较低的数据子集上会导致下游factuality的恶化（5-10％），而在知名度较高的子集上进行fine-tuning则能够匹配或超越在整个数据集上fine-tuning的效果。论文的实验结果为后续的知识密集型任务fine-tuning提供了指导。

最近的相关研究包括：《How Much Knowledge Can You Pack Into the Parameters of a Language Model?》、《Revealing the Dark Secrets of BERT》等。