Relative Counterfactual Contrastive Learning for Mitigating Pretrained Stance Bias in Stance Detection

这段摘要介绍了立场检测的任务，即对评论和目标之间的立场关系进行分类，包括支持、反对或中立。预训练语言模型（PLMs）被广泛应用于挖掘立场关系，以通过预训练知识提高立场检测的性能。然而，PLMs也会将关于立场的“错误”预训练知识嵌入到提取的立场关系语义中，导致预训练立场偏见。由于预训练立场偏见的量化程度较弱，因此衡量其不是一件简单的事情。因此，本文提出了相对对照对比学习（RCCL）方法，将预训练立场偏见减少为相对立场偏见，而不是绝对立场偏见，以克服衡量偏见的困难。首先，我们提出了一种新的结构因果模型，用于描述上下文、PLMs和立场关系之间的复杂关系，以定位预训练立场偏见。然后，基于掩码语言模型预测，我们提出了一种目标感知的相对立场样本生成方法，用于获取相对偏见。最后，我们使用基于反事实理论的对照学习来减少预训练立场偏见并保留上下文立场关系。实验结果表明，所提出的方法优于立场检测和去偏置的基线模型。

本论文旨在解决预训练语言模型在态度检测中的偏见问题，提出了一种相对反事实对比学习的方法。

本论文提出了一种相对偏见度量方法，通过对比学习来减轻预训练模型的偏见，并保留上下文态度关系。

论文提出了一种新的结构因果模型来定位预训练偏见，提出了一种基于掩码语言模型预测的目标感知相对态度样本生成方法，使用反事实理论的对比学习来减轻预训练偏见，实验结果表明该方法优于现有的态度检测和去偏见方法。

最近的相关研究包括：《Language Models Are Few-Shot Learners》、《Mitigating Unwanted Biases with Adversarial Learning》等。