Outlier Gradient Analysis: Efficiently Improving Deep Learning Model Performance via Hessian-Free Influence Functions

影响函数为评估每个训练数据样本对模型预测的影响提供了一个强大的框架，是数据中心学习中的重要工具。尽管影响函数在各种任务中被广泛使用，但模型的强凸性假设和计算逆Hessian矩阵的计算成本限制了其应用，特别是在分析大型深度模型时。本文针对经典的数据中心场景——修剪有害样本——在统一框架内解决了这两个挑战。具体而言，我们建立了一个等价变换，通过影响函数和异常梯度检测来识别有害训练样本。这种变换不仅提供了一个简单和无需Hessian矩阵的公式，而且深入探讨了梯度在样本影响中的作用。此外，它放宽了影响函数的凸性假设，扩展了它们在非凸深度模型中的适用性。通过系统的实证评估，我们首先在合成数据集上验证了我们提出的异常梯度分析的正确性，然后展示了它在检测视觉模型中的误标记样本、选择数据样本以提高自然语言处理转换器模型性能以及识别对大型语言模型进行微调的有影响力的样本方面的有效性。

本文旨在解决数据中心学习中影响函数的强凸性假设和计算代价的问题，特别是在分析大型深度模型时。

本文通过建立影响函数和异常梯度检测之间的等价转换，提出了一种简单且无需Hessian矩阵的公式，从而放松了影响函数的凸性假设，并将其扩展到非凸深度模型中。

实验结果表明，该方法在视觉模型中检测错误标记样本、在自然语言处理的Transformer模型中选择数据样本以提高性能以及在精细调整的大型语言模型中识别有影响力的样本方面具有有效性。

最近的相关研究包括“Understanding Black-box Predictions via Influence Functions”和“Outlier Detection with Autoencoder-Generated One-Class Labels”。