【论文标题】MTGAT: Multimodal Temporal Graph Attention Networks for Unaligned Human Multimodal Language Sequences
【作者团队】Jianing Yang, Yongxin Wang, Ruitao Yi, Yuying Zhu, Azaan Rehman, Amir Zadeh, Soujanya Poria, Louis-Philippe Morency
【发表时间】2020/10/22
【论文链接】https://arxiv.org/pdf/2010.11985.pdf
【推荐理由】本文来自于卡内基梅隆大学。文章提出了多模态时间图注意网络(MTGAT),该模型是一个基于图的可解释神经模型,它为分析这类多模态序列数据提供了一个合适的框架。
文章首先设计了一种将未对齐的多模态序列数据转换为具有异构节点和边的图形的过程,该过程可捕获不同模态之间随着时间的丰富交互。然后,设计了一种名为多模态时间图注意力的新颖图操作,同时包括动态修剪和read-out技术,该操作可以有效地处理多模态时间图问题。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢