【论文标题】Unsupervised Natural Language Inference via Decoupled Multimodal Contrastive Learning 【无监督自然语言推理】通过解耦多模态对比学习进行无监督自然语言推理(EMNLP 2020) 【作者团队】Wanyun Cui, Guangyu Zheng, Wei Wang 【发表时间】2020/10/16 【论文链接】https://arxiv.org/abs/2010.08200 【推荐理由】 本文收录于EMNLP2020会议,来自复旦大学&上海财经大学的研究人员提出一个多模态对齐对比解耦学习网络,用于通过对比学习解耦出带有视觉信息的文本编码器用于自然语言推理任务。 人类在做自然语言推理的时候是不需要监督信息的,但是现有的自然语言推理任务都是需要一定的监督信息。受此启发,作者提出一个核心问题:给一对自然语言语句,机器能否在没有推理标签任何监督信息的情况下挖掘出这一对句子之间的关系? 目前用无监督的自然语言推理任务随着自监督学习的发展得到了巨大的进步,但由于推理任务中需要引入常识,但是只从单纯的语言信息中很难得到常识内容,因此视觉信息的引入有利于挖掘出常识知识,从而提高自然语言推理任务的性能。 因此作者选择使用多模态自监督学习用于自然语言推理,然而目前的多模态自监督学习方法中对于不同模态的编码器是耦合的(如图),所以很难在单独编码纯文本信息的时候包含视觉信息。针对这个问题,作者在本文提出多模态对齐对比解耦学习网络,该网络通过对比学习解耦出带有视觉信息的文本编码器用于自然语言推理任务。 最后作者在纯文本推理数据集(SNLI和STS-B)进行了详细的实验,在STS-B数据集上,无监督的多模态对齐对比解耦学习网络结果优于完全监督的Bi-LSTM和Bi-LSTM+ELMO 模型,这说明了作者模型的有效性。

内容中包含的图片若涉及版权问题,请及时与我们联系删除