Discovering Knowledge Deficiencies of Language Models on Massive Knowledge Base

大语言模型 (LLMs) 展现了令人印象深刻的语言能力，但常常无法忠实地保留事实性知识，从而导致“幻觉”现象以及不可靠的输出。通过全面对比大规模知识库来评估 LLMs 的知识缺陷在计算上是难以承受的，尤其是对于权重封闭的模型。我们提出了随机误差上升 (Stochastic Error Ascent, SEA)，这是一种可扩展且高效的框架，能够在严格的查询预算下发现封闭权重 LLMs 的知识缺陷（即错误）。与盲目检测所有知识候选项不同，SEA 将错误发现过程建模为一个随机优化问题：它通过利用与之前观察到的失败案例的语义相似性，迭代地检索新的高误差候选项。为了进一步提升搜索效率和覆盖范围，SEA 采用了跨文档和段落级别的分层检索策略，并构建了一个关系有向无环图 (DAG)，用于建模误差传播并识别系统性的失败模式。实验结果表明，SEA 发现的知识错误数量比 Automated Capability Discovery 高出 40.7 倍，比 AutoBencher 高出 26.7%，同时分别将每错误的成本降低了 599 倍和 9 倍。人工评估确认生成的问题具有高质量，而消融分析和收敛性分析验证了 SEA 每个组件的贡献。对发现的错误进行的进一步分析揭示了 LLM 家族之间存在相关性的失败模式以及反复出现的知识短板，这凸显了未来 LLM 开发中对更广泛数据覆盖和针对性微调的需求。

该论文试图解决大型语言模型（LLMs）在知识保留方面的不足，特别是如何高效发现其知识盲点或错误的问题。这是一个重要且未完全解决的问题，因为当前方法通常需要大量计算资源，并不适合封闭权重模型。

论文提出了一个名为‘随机误差上升（SEA）’的框架，将知识错误的发现转化为一个随机优化问题。通过利用语义相似性迭代检索高误差候选对象，同时采用分层检索和关系有向无环图来建模错误传播和系统性失效模式，从而显著提高了效率和覆盖率。相比现有方法，SEA在更低的成本下发现了更多的知识错误。

1. SEA框架能够以极低的成本（比现有方法减少599倍至9倍）发现40.7倍于Automated Capability Discovery和26.7%多于AutoBencher的知识错误；2. 人类评估验证了生成问题的质量；3. 论文分析了不同LLM家族中的相关失败模式，揭示了数据覆盖不足和特定领域调优的需求；4. 尽管未提及代码开源，但研究提供了深入的消融实验和收敛性分析，为未来工作奠定了基础。

与本研究相关的其他工作包括：1. Automated Capability Discovery，用于自动检测LLM的能力限制；2. AutoBencher，专注于对LLM进行基准测试；3. 近期关于LLM知识缺陷的研究，如《Hallucinations in Large Language Models: Causes and Mitigations》和《Systematic Evaluation of Knowledge Retention in Pre-trained Models》。这些研究共同推动了对LLM可靠性和知识覆盖范围的理解。