Efficient Motion-Aware Video MLLM

目前大多数视频多模态大模型依赖于均匀帧采样和图像级编码器，这导致数据处理效率低下且对运动的感知能力有限。为了解决这些问题，我们提出了EMA（Efficient Motion-Aware video MLLM），这是一种利用压缩视频结构作为输入的高效运动感知视频多模态大模型。我们设计了一种运动感知的GOP（图像组，Group of Pictures）编码器，该编码器能够在压缩视频流的GOP单元内融合空间信息和运动信息，生成紧凑且信息丰富的视觉标记（tokens）。通过在原生的慢-快输入架构中结合更少但更密集的RGB帧与更多但更稀疏的运动向量，我们的方法减少了冗余并增强了运动表示能力。此外，我们还引入了MotionBench，这是一个用于评估四种运动类型（线性、曲线、旋转和接触式运动）理解能力的基准测试。实验结果表明，EMA在MotionBench和流行的视频问答基准测试中均达到了最先进的性能，同时降低了推理成本。更重要的是，EMA展现出强大的可扩展性，这一点在其在长视频理解基准测试中的竞争力表现中得到了验证。

论文试图解决当前视频多模态大模型（MLLMs）中数据处理效率低和运动感知能力有限的问题。这是一个需要改进现有方法的挑战，而非全新的问题。

论文提出了一种名为EMA的高效运动感知视频MLLM，通过利用压缩视频结构作为输入，并设计了运动感知GOP编码器来融合空间和运动信息。此外，论文采用了一种慢-快输入架构，结合较少但密集的RGB帧与较多但稀疏的运动向量，从而减少冗余并增强运动表示能力。这种思路相比传统方法更加高效且专注于运动信息的提取。

论文引入了MotionBench这一新基准，用于评估模型对四种不同类型运动（线性、曲线、旋转和接触）的理解能力。实验结果表明，EMA在MotionBench及多个流行视频问答基准上达到了最先进的性能，同时显著降低了推理成本。此外，EMA展示了强大的可扩展性，在长视频理解任务中表现依然出色。论文未提及代码开源情况，但其提出的压缩视频流处理方式和MotionBench值得进一步研究和应用。

近期相关研究包括：1) VideoMAE系列工作，探索了视频自监督学习以提高特征提取能力；2) TimeSformer等时序建模方法，关注于视频中的时间依赖关系；3) X-Transformer系列，结合多模态信息进行视频理解。此外，还有一些研究如MAGVideo和ViT-VG聚焦于视频压缩域上的特征提取和动作识别。