Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models

对于自然语言推理问题，对语义特征对语言模型预测的因果效应进行严格评估可能很难实现。然而，从可解释性和模型评估的角度来看，这种分析方式非常有价值，因此有必要研究具有足够结构和规律性的特定推理模式，以识别和量化广泛使用的模型中系统性的推理失败。在这方面，我们选择NLI任务的一部分，可以系统地构建显式因果图的情况：在两个句子（前提和假设）中，两个相关的单词/术语在共享的上下文中出现。在这项工作中，我们应用因果效应估计策略来衡量对上下文干预的效应（其对蕴含标签的影响通过语义单调性特征进行中介），以及对插入的单词对的干预（其对蕴含标签的影响通过这些单词之间的关系进行中介）。在不同的设置中扩展与自然语言处理模型因果分析相关的工作，我们对NLI任务进行了广泛的干预研究，以调查Transformers模型对无关变化的稳健性和对有影响的变化的敏感性。结果强烈支持这样一个事实，即可能观察到非常不同行为的模型具有类似的基准准确度分数。此外，我们的方法从因果的角度强化了以前怀疑的偏见，包括偏向上升单调上下文和忽略否定标记的影响。

论文旨在通过对NLI任务中的语义特征对语言模型预测的因果效应进行研究，从而识别和量化广泛使用的模型中系统性推理失败的特征。

通过构建因果图，对语境干预和插入词对的干预进行因果效应估计，进而对Transformers的鲁棒性和敏感性进行广泛的干预研究。

论文使用因果效应估计策略，设计了大量干预实验，探究了Transformers模型对无关变化的鲁棒性和对有影响的变化的敏感性，发现相似的基准准确度得分可能对应着表现非常不同的模型，强化了之前怀疑的偏见。

最近在这个领域中，还有一些相关的研究，例如《Counterfactual Fairness》、《Causal Language Modeling》等。