Simfluence 是训练数据归因(TDA)的新范式，模拟训练过程来仿真单个训练样本对模型预测的影响，产生比现有TDA方法更准确的结果。

Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs

K Guu, A Webson, E Pavlick, L Dixon, I Tenney, T Bolukbasi
[Google Research]

Simfluence: 通过模拟训练过程对单个训练样本影响进行建模

要点:

  1. Simfluence 为训练数据归因(TDA)提出一种新范式，模拟训练过程，以更好地捕捉有影响力的训练样本之间的高度非加性交互；
  2. Simfluence 使用户能回答关于模型在不同训练课程下会学到什么的反事实问题，并直接看到训练中的学习会在哪里发生；
  3. Simfluence-Linear 是一个捕捉非加性交互的模拟器，能够以惊人的保真度预测单个样本损失的尖锐轨迹；
  4. 在大型语言模型微调实验中，Simfluence 预测损失轨迹的准确度远远高于现有的 TDA 方法，平均平方误差减少了 75%，Spearman 的相关度增加了一倍。

https://arxiv.org/abs/2303.08114 


图片