FASTTRACK: Fast and Accurate Fact Tracing for LLMs

事实追踪旨在确定作为给定查询的知识源的特定训练示例。现有的事实追踪方法依赖于评估每个训练样本与查询之间的某个维度上的相似性，例如词汇相似性、梯度或嵌入空间。然而，这些方法未能有效区分仅相关和实际提供查询所需信息支持证据的样本。这种限制通常导致效果不佳。此外，这些方法需要为每个查询检查单个训练点的相似性，施加了重大的计算需求，为实际应用创建了实质性的障碍。本文介绍了FASTTRACK，一种新颖的方法，它利用大型语言模型的能力来验证查询的支持证据，并同时将训练数据库聚类到较小的范围以便于LLM追踪事实。我们的实验证明，FASTTRACK在准确性和效率方面均优于现有方法，在F1分数方面实现了100\%以上的改进，同时比TracIn快33倍。

FASTTRACK论文试图解决的问题是在信息检索中，如何有效地区分相关和支持性证据，并提高效率？

FASTTRACK的关键思路是使用大型语言模型（LLMs）验证支持性证据，同时将训练数据库聚类到较小的范围以便LLMs跟踪事实。

FASTTRACK在精度和效率方面都优于现有方法，F1分数比现有技术提高了100％以上，速度比TracIn快33倍。FASTTRACK使用了大量的数据集，并开源了代码，值得进一步深入研究。

最近在这个领域中，还有一些相关的研究，如：TracIn: Tracing the Origin of Information in Multi-hop Question Answering（追踪多跳问题回答中信息来源）