Debiasing Multimodal Sarcasm Detection with Contrastive Learning

虽然现有的工作取得了值得称赞的成就，但是现有的多模态讽刺检测研究更多地依赖于文本内容而非视觉信息。这不可避免地导致文本单词和标签之间出现虚假的相关性，从而显著阻碍了模型的泛化能力。为了解决这个问题，我们定义了一项任务：跨分布多模态讽刺检测，旨在评估模型在训练和测试环境中单词分布不同时的泛化能力。此外，我们提出了一种新颖的去偏置多模态讽刺检测框架，采用对比学习，旨在减轻有偏文本因素对鲁棒的跨分布泛化的不良影响。具体而言，我们首先设计对抗数据增强来构建具有不同单词偏差的正样本和具有相似单词偏差的负样本。随后，我们设计了一种自适应去偏置对比学习机制，以使模型能够学习到强大的任务相关特征，并减轻有偏单词的不良影响。广泛的实验显示了所提出框架的优越性。

论文提出了一个新的问题：如何在训练和测试设置中单词分布不同的情况下，评估模型的泛化能力，以解决当前多模态讽刺检测研究中过度依赖文本内容的问题。

论文提出了一种新的去偏置多模态讽刺检测框架，采用对比学习和对抗训练的方法，通过对抗性数据增强和自适应去偏置对模型进行训练，从而提高模型的鲁棒性和泛化能力。

论文设计了对抗性数据增强方法来构建正样本和负样本，提出了自适应去偏置对比学习机制来减轻文本偏置的负面影响。实验结果表明，该框架在多个数据集上表现出了优异的性能。

近期的相关研究包括：'Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion of Textual and Visual Features'，'Multimodal Sarcasm Detection Using Audio-Textual Features and Deep Learning'，'Visual Sarcasm Detection: A Sub-Task of Multimodal Sarcasm Detection'等。