Training Data Attribution via Approximate Unrolled Differentation

许多训练数据归因（TDA）方法旨在估计如果从训练集中删除一个或多个数据点，模型的行为会如何改变。基于隐式微分的方法，例如影响函数，可以提高计算效率，但无法考虑到欠规范、优化算法的隐式偏差或多阶段训练流程。相比之下，基于展开的方法可以解决这些问题，但面临着可扩展性方面的挑战。在这项工作中，我们将基于隐式微分和基于展开的方法联系起来，通过引入Source，一种使用类似于影响函数的公式计算的近似展开型TDA方法，结合它们的优点。与基于展开的方法相比，Source在计算效率方面更高，适用于隐式微分方法无法解决的情况，例如在非收敛模型和多阶段训练流程中。经验证实，Source在反事实预测方面优于现有的TDA技术，特别是在隐式微分方法无法胜任的情况下。

论文旨在解决训练数据归因（TDA）的问题，即如何估计从训练集中删除一个或多个数据点会如何改变模型的行为。同时，该论文尝试解决当前TDA方法中存在的问题，如欠规范、优化算法的隐式偏差以及多阶段训练流程。

该论文提出了一种名为Source的TDA方法，它将隐式微分和展开相结合，通过类似于影响函数的公式进行计算。该方法在计算效率上比展开方法更高效，同时适用于隐式微分方法无法解决的情况，如非收敛模型和多阶段训练流程。

论文的实验结果表明，Source在反事实预测方面优于现有的TDA技术，特别是在隐式微分方法无法解决的情况下表现更加优异。论文使用了多个数据集进行实验，并且提供了开源代码。此外，论文还探讨了Source方法的局限性和未来研究方向。

在最近的研究中，也有许多关于TDA的相关研究。例如，'Understanding Black-box Predictions via Influence Functions' 和 'Certified Robustness to Adversarial Examples with Differential Privacy'等。