【论文标题】Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues 【论文链接】https://arxiv.org/abs/2103.00820 【作者团队】Hung Le, Nancy F. Chen , Steven C.H. Hoi 【发表时间】2021.3.1 【推荐理由】论文收录于ICLR-2021会议，研究人员提出一个新颖的对话语境推理路径（PDC）框架，用于预测一条当前回合到过去对话回合的路径，这些对话回合包含额外的视觉线索，以回答当前的问题，实验结果证明了PDC模型的有效性。

与传统的视觉问答相比，以视频为基础的对话生成需要对对话上下文进行额外的推理，才能在多轮的情境下实现问答。以往的以视频为基础的对话生成方法大多将对话上下文作为简单的文本输入，而没有对转折层面的内在信息流进行建模。PDC模型通过基于每个问题和答案中的词性成分构建的语义图来发现对话回合之间的信息流。然后，PDC模型学习在这个语义图上预测出的推理路径。PDC模型通过这个推理路径依次处理视觉和文本信息，传播的特征被用来生成答案。实验结果对于PDC模型如何在对话语境中使用语义依赖性来检索视觉线索提供了更多的见解。

图：顺序推理方法无法检测到长距离依赖关系；基于图的推理方法能捕获全局信息但是存在无效信息

内容中包含的图片若涉及版权问题，请及时与我们联系删除