Video-Language Understanding: A Survey from Model Architecture, Model Training, and Data Perspectives

人类使用多种感官来理解环境。视觉和语言是最重要的两种感官，因为它们使我们能够轻松地传达我们的想法并感知周围的世界。创建具有类似人类感官的视频-语言理解系统引起了很大兴趣，因为视频-语言配对可以模仿我们的语言媒介和具有时间动态的视觉环境。在本次调查中，我们回顾了这些系统的关键任务，并强调了相关的挑战。基于这些挑战，我们从模型架构、模型训练和数据角度总结了它们的方法。我们还进行了方法之间的性能比较，并讨论了未来研究的有前途的方向。

本论文旨在探讨视频语言理解系统中的关键任务和挑战，并提出相应的解决方法。这是一个新问题。

该论文的关键思路是提出了一种基于模型架构、模型训练和数据视角的方法来解决视频语言理解系统中的挑战，包括视频-文本匹配、视频问答和视频字幕生成等任务。

论文提供了性能比较和未来研究方向，实验结果表明该方法在多个数据集上取得了最先进的结果，同时也开源了代码。

在这个领域中，最近还有一些相关的研究，如《Temporal Grounding Graphs for Language Understanding with Accrued Visual-Audio Cues》、《VideoBERT: A Joint Model for Video and Language Representation Learning》等。