GAIA: Rethinking Action Quality Assessment for AI-Generated Videos

评估动作质量既是必要的，也是具有挑战性的，因为它对于AI生成的视频质量有着重要的影响，而在AI生成的视频中，动作的本质模糊不清更加复杂。目前，动作质量评估（AQA）算法主要集中在真实特定场景下的动作上，并且是基于规范化的动作特征进行预训练的，因此无法应用于AI生成的视频中。为了解决这些问题，我们从新的因果推理角度进行了大规模主观评估，构建了一个通用的AI生成动作数据集GAIA，其中包含9,180个视频-动作对，共计971,244个评分。基于GAIA，我们评估了一系列流行的文本到视频（T2V）模型在生成视觉合理的动作方面的能力，揭示了它们在不同类别动作上的优缺点。我们还将GAIA扩展为一个测试平台，以评估现有自动评估方法的AQA能力。结果表明，传统的AQA方法、最近T2V基准中的动作相关指标以及主流的视频质量方法与人类意见的相关性很差，这表明当前模型与AI生成视频中人类动作感知模式之间存在较大差距。我们的发现强调了动作质量作为研究AI生成视频的独特视角的重要性，并可以促进改进AI生成视频中AQA能力的方法。

本文旨在解决评估AI生成视频中的动作质量的问题，因为这对于视频质量有着重要的影响。然而，由于AI生成视频中动作的本质模糊不清，因此现有的动作质量评估算法无法应用于AI生成视频。

为了解决这个问题，本文构建了一个名为GAIA的通用AI生成动作数据集，并从因果推理的角度进行了大规模主观评估，评估了一系列流行的文本到视频模型对于生成视觉合理的动作的能力，并揭示了它们在不同类别动作上的优缺点。此外，本文还将GAIA扩展为一个基准测试平台，以评估现有的自动评估方法的动作质量评估能力。

本文的亮点包括：使用因果推理的角度进行大规模主观评估构建了一个通用的AI生成动作数据集GAIA；评估了一系列流行的文本到视频模型对于生成视觉合理的动作的能力，并揭示了它们在不同类别动作上的优缺点；将GAIA扩展为一个基准测试平台，以评估现有的自动评估方法的动作质量评估能力。

最近的相关研究包括：《Temporal Relation Reasoning in Videos》、《Learning to Generate Time-Lapse Videos by Watching a Video》、《Towards High-Fidelity Face Manipulation Generation with Generative Adversarial Networks》等。