Knowing Your Nonlinearities: Shapley Interactions Reveal the Underlying Structure of Data

本文采用Shapley Taylor交互指数（STII）来分析底层数据结构对多种模态、任务和体系结构中模型表示的影响。在考虑掩蔽和自回归语言模型（MLMs和ALMs）中的语言结构时，我们发现STII在习语表达中增加，并且MLMs随着句法距离的增加而扩展STII，比ALMs更多地依赖于语法在它们的非线性结构中。我们的语音模型发现反映了语音学原则，即口腔的开放程度决定了一个音素在其上下文中变化的程度。最后，我们研究了图像分类器，并说明特征交互直观地反映了对象边界。我们广泛的结果说明了跨学科工作和领域专业知识在可解释性研究中的好处。

本论文试图使用Shapley Taylor交互指数（STII）来分析数据结构对模型表示的影响，以解释复杂模型的归因模式。

论文使用STII来分析不同模态、任务和架构下的模型表示，并发现MLM和ALM在处理语言结构时的非线性特征交互方式存在差异，同时探究了语音模型和图像分类器的特征交互方式。

实验结果表明，STII可以用于解释模型的归因模式，同时还揭示了模型中的一些非线性特征交互方式，例如在语言模型中，MLM更依赖语法结构，而在语音模型中，元音的开放度决定了其上下文中的变化程度；在图像分类中，特征交互方式与物体边界有关。

与本文相关的研究包括使用不同的解释方法来解释模型的预测结果，例如LIME和SHAP。