Weakly Supervised Video Scene Graph Generation via Natural Language Supervision

现有的视频场景图生成（VidSGG）研究采用完全监督的方式进行训练，这需要对视频中的所有帧进行标注，因此相比图像场景图生成（ImgSGG），其标注成本更高。虽然可以通过采用常用于图像场景图生成的弱监督方法（WS-ImgSGG）来减轻VidSGG的标注成本，该方法使用图像字幕，但有两个关键原因阻碍了这种简单采用：1） 视频字幕中的时间性，即与图像字幕不同，视频字幕包含时间标记（例如，“之前”、“期间”、“然后”、“之后”），这些标记表示与时间相关的信息；2） 行动持续时间的变化，即与图像字幕中的人类动作不同，视频字幕中的人类动作在不同的时间段内展开。 为了解决这些问题，我们提出了一种基于自然语言的视频场景图生成（NL-VSGG）框架，该框架仅利用现成可用的视频字幕来训练VidSGG模型。NL-VSGG包含两个关键模块：时间感知字幕分割（TCS）模块和行动持续时间变化感知的字幕-帧对齐（ADV）模块。具体来说，TCS根据大型语言模型（LLM）将视频字幕按时间顺序分割成多个句子，而ADV则考虑行动持续时间的变化，将每个分割后的句子与相应的帧对齐。 我们的方法在Action Genome数据集上显著提升了性能，相比于直接将WS-ImgSGG管道应用于VidSGG的情况。此外，利用视频字幕作为弱监督的一个额外好处是，通过NL-VSGG训练的VidSGG模型能够预测更广泛的动作类别，即使这些类别并未包含在训练数据中，从而使我们的框架在实际应用中更具实用性。

该论文旨在解决视频场景图生成（VidSGG）中的高标注成本问题。现有的VidSGG方法通常需要对视频中的每一帧进行标注，这比图像场景图生成（ImgSGG）的标注成本要高得多。此外，论文还试图克服直接将弱监督图像场景图生成（WS-ImgSGG）方法应用于视频时遇到的时间性和动作持续时间变化的问题。

论文提出了一种基于自然语言的视频场景图生成框架（NL-VSGG），该框架仅使用视频字幕作为训练数据。NL-VSGG包含两个关键模块：1) 时间感知字幕分割（TCS）模块，它利用大型语言模型（LLM）根据时间顺序将视频字幕分割成多个句子；2) 动作持续时间变化感知的字幕-帧对齐（ADV）模块，它根据动作持续时间的变化将每个分割后的句子与适当的帧对齐。这种方法不仅减少了标注成本，还能处理视频字幕中的时间和动作持续时间变化问题。

1) 论文在Action Genome数据集上验证了NL-VSGG框架的有效性，显著提升了性能；2) NL-VSGG能够预测训练数据中未包含的动作类别，扩展了模型的应用范围；3) 研究表明，通过使用视频字幕作为弱监督信号，可以更好地捕捉视频中的动态信息；4) 未来工作可以进一步探索如何改进TCS和ADV模块，以适应更复杂的视频内容。

近年来，关于视频理解的研究逐渐增多，特别是如何减少标注成本和提高模型泛化能力。相关研究包括：1) 弱监督图像场景图生成（WS-ImgSGG），如《Weakly Supervised Image Scene Graph Generation》；2) 视频动作识别，如《Temporal Action Localization in Videos》；3) 自然语言处理在视频理解中的应用，如《Language Models as Zero-Shot Video Understanding Systems》。