Training Data Attribution via Approximate Unrolled Differentiation

许多训练数据归因（TDA）方法旨在估计如果从训练集中删除一个或多个数据点，模型的行为将如何改变。基于隐式微分的方法，例如影响函数，可以使计算效率高，但无法考虑到欠规范、优化算法的隐式偏差或多阶段训练流程。相比之下，基于展开的方法可以解决这些问题，但面临可扩展性挑战。在这项工作中，我们将隐式微分和展开相结合，通过引入Source，一种近似展开的TDA方法，使用类似影响函数的公式进行计算。与基于展开的方法相比，Source在计算效率上更加高效，适用于隐式微分方法无法处理的情况，例如在非收敛模型和多阶段训练流程中。实证结果表明，Source在反事实预测方面优于现有的TDA技术，特别是在隐式微分方法无法胜任的情况下。

本论文旨在解决训练数据归因（TDA）方法中存在的计算效率和适用性问题，同时提高对于未收敛模型和多阶段训练流程的处理能力。

本文提出了一种名为Source的TDA方法，结合了隐式微分和展开两种方法的优点，能够更加高效地进行数据归因。

论文设计了实验验证了Source方法的有效性，相较于现有方法在反事实预测方面表现更好。同时，论文提出的方法可以解决当前TDA方法中存在的问题，如适用性和计算效率等。

近期在该领域的相关研究包括：Influence functions、unrolling-based TDA等。