Estimating Knowledge in Large Language Models Without Generating a Single Token

本文旨在探讨在大型语言模型（LLMs）中评估知识的方法。目前的方法是查询模型，然后评估其生成的响应。本文提出一个问题：是否可以在模型生成任何文本之前就进行评估呢？具体而言，是否可能仅通过其内部计算来估计模型对某个实体的知识水平？本文通过两个任务来研究这个问题：给定一个主体实体，目标是预测（a）模型回答关于该实体的常见问题的能力，以及（b）模型生成的关于该实体的响应的真实性。对多种LLMs进行的实验表明，通过内部主体表示训练的简单探针KEEN在这两个任务上均取得了成功，与模型每个主体的QA准确性和最近的开放式生成真实性度量FActScore都强相关。此外，KEEN自然地与模型的避免风险行为相一致，并忠实地反映了微调后模型知识的变化。最后，我们展示了一种更易于解释但同样有效的KEEN变体，它突出显示了一小组与模型缺乏知识有关的标记。由于简单而轻便，KEEN可以用于识别LLMs中实体知识的差距和聚类，并指导决策，例如通过检索来增强查询。

论文旨在探究是否能够在模型生成文本之前，通过内部计算来评估大型语言模型对实体的知识水平。具体而言，论文研究了两个任务：预测模型回答关于实体的常见问题的能力，以及模型生成的关于实体的事实性。

KEEN是一种简单的探针，通过内部主题表示进行训练，成功地完成了两个任务，并与模型的hedging行为自然对齐，能够准确反映模型在微调后的知识变化。

论文使用了多种LLMs进行实验，并展示了一种更易于解释的KEEN变体，可以识别模型缺乏知识的一小组标记，并且能够指导决策，如使用检索来增强查询。

与该论文相关的研究包括：1. OpenAI的GPT-3模型；2. FactCC：一种用于评估生成文本事实性的指标；3. 一些关于大型语言模型内部表示的研究，如ELMo和BERT。