Towards Multimodal Video Paragraph Captioning Models Robust to Missing Modality

视频段落字幕（VPC）涉及为长视频生成详细的叙述，利用支持性模态，如语音和事件边界。然而，现有的模型受到单一辅助模态常态可用的假设的限制，这在真实世界的情况下是不切实际的，因为其多样性和不可预测性。为此，我们提出了一个抗缺失框架MR-VPC，有效利用所有可用的辅助输入，并在某些模态缺失的情况下保持弹性。在这个框架下，我们提出了多模态VPC（MVPC）架构，以统一的方式集成视频、语音和事件边界输入，以处理各种辅助输入。此外，为了加强模型对不完整数据的抵抗力，我们引入了DropAM，一种数据增强策略，随机省略辅助输入，配合DistillAM，一种从在模态完整数据上训练的教师模型中提炼知识的正则化目标，使其能够在模态不足的环境中进行高效学习。通过对YouCook2和ActivityNet Captions的详尽实验，MR-VPC已经证明在模态完整和模态缺失的测试数据上具有优越的性能。这项工作突出了开发具有弹性的VPC模型的重要性，并为更具适应性、更强大的多模态视频理解铺平了道路。

该论文旨在解决视频段落字幕生成中常见的单一辅助模态假设不符实际的问题，提出了一种适应性更强的框架来有效利用所有可用的辅助输入，并在缺失某些模态的情况下仍保持韧性。

该论文提出了一种Missing-Resistant框架MR-VPC，能够将视频、语音和事件边界输入统一处理，以处理各种辅助输入，并引入了DropAM和DistillAM两种技术来增强模型的鲁棒性。

论文通过在YouCook2和ActivityNet Captions上进行详尽的实验，证明了MR-VPC在模态完整和模态缺失的测试数据上都能提供更好的性能。此外，该论文的数据集和代码也已经开源，为未来的研究提供了基础。

在这个领域中，最近的一些相关研究包括：'Video Captioning via Hierarchical Reinforcement Learning'，'Dense-captioning Events in Videos'，'Temporal Activity Localization in Untrimmed Videos with Limited Annotations'等。