【论文标题】ConceptBert: Concept-Aware Representation for Visual Question Answering 【作者团队】Franc¸ois Garderes, Maryam Ziaeefard, Baptiste Abeloos, Freddy Lecue 【论文链接】https://www.aclweb.org/anthology/2020.findings-emnlp.44.pdf 【代码链接】https://github.com/ZiaMaryam/ConceptBERT 【推荐理由】本文收录于EMNLP2020 findings。文章提出了一个基于概念感知的算法ConceptBert，即在Question部分引入常识和额外的知识用于辅助VQA问题。 视觉问答（VQA）是一个极具挑战的任务，近年来得到了CV和NLP研究人员的广泛关注。大多数VQA基准测试都是使用单词嵌入和循环神经网络去抽取问题的语义特征，同时使用目标检测工具获取图片表示，再将图片和文本表示进行融合去训练一个VQA模型。然而，这些方法仅仅根据视觉内容来回答问题，并没有使用到外部的知识。如果引入外部知识，则可以改善图像中检测到的对象之间或者问题中的实体与图像中对象之间的关系表示。因此，作者提出了名为ConceptBert的算法用于在VQA中引入外部知识。整体框架如图所示。 文章主要贡献有以下三点：1、提出了一个新颖的模型用于在VQA中引入常识。2、在VQA模型中使用了基于知识图谱嵌入的概念感知表示。3、提出了多模态的跨语言-视觉的概念感知嵌入模型。

内容中包含的图片若涉及版权问题，请及时与我们联系删除