多模态情感分析｜通过自监督多任务学习来学习特定模态表征用于多模态情感分析（AAAI 2021） 【论文标题】Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis 【多模态情感分析】通过自监督多任务学习来学习特定模态表征用于多模态情感分析 【论坛网址】https://hub.baai.ac.cn/view/6468 【作者团队】Wenmeng Yu, Hua Xu, Ziqi Yuan, Jiele Wu 【代码链接】https://github.com/thuiar/Self-MM 【机构】清华大学 【发表时间】2021/2/9 【论文链接】https://arxiv.org/abs/2102.04830 【推荐理由】   本文收录于AAAI 2021，来自清华大学的研究人员提出一种基于自监督多任务学习的标签生成模块用以学习多模态情感表征的差异性。   在多模态学习中，表征学习是一项重要且具有挑战性的任务。有效的模态表示应包含特征的两个部分：一致性和差异性。但是由于先有的方法中统一的多模态标注，现有方法在捕获差异性信息方面受到限制。然而，单模态标注会增加时间和人工成本。   本文设计了一种基于自监督学习策略的标签生成模块，以获取独立的单模态监督。 然后，联合训练多模态任务和单模态任务，以分别学习一致性和差异性。此外，在训练阶段，本文设计了权重调整策略，以平衡不同子任务之间的学习进度，从而引导子任务专注于模态监督之间差异较大的样本。

内容中包含的图片若涉及版权问题，请及时与我们联系删除