Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos

最近在视频生成模型方面已经取得了显著进展。与图像生成不同，视频生成面临更大的挑战，不仅需要生成高质量的帧，还需要确保这些帧之间的时间一致性。尽管取得了令人瞩目的进展，但是关于评估生成视频质量的度量，特别是关于时间和运动一致性方面的研究仍然不足。为了弥补这一研究空白，我们提出了Fr\'echet Video Motion Distance (FVMD)度量，该度量专注于评估视频生成中的运动一致性。具体而言，我们基于关键点跟踪设计了明确的运动特征，然后通过Fr\'echet距离测量这些特征之间的相似性。我们通过向真实视频注入噪声进行敏感性分析，以验证FVMD的有效性。此外，我们进行了大规模的人类研究，证明我们的度量有效地检测到了时间噪声，并且比现有的度量更好地与人类对生成视频质量的感知相一致。此外，我们的运动特征可以始终提高视频质量评估（VQA）模型的性能，表明我们的方法也适用于一元视频质量评估。代码可在https://github.com/ljh0v0/FMD-frechet-motion-distance获得。

提出一种评估生成视频质量的新指标Fréchet Video Motion Distance (FVMD)，解决现有视频生成质量评估指标无法有效评估视频运动一致性的问题。

通过设计基于关键点跟踪的显式运动特征，并通过Fréchet距离度量这些特征之间的相似性，实现对视频生成运动一致性的评估。

论文通过注入噪声到真实视频中进行敏感性分析，证明了FVMD的有效性。此外，通过大规模人类研究，论文表明FVMD能够更好地检测时间噪声，并与人类对生成视频质量的感知更加一致。同时，论文的运动特征还能够持续提高视频质量评估模型的性能。

近期相关研究包括：1. Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild；2. Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks；3. Video Generation from Single Semantic Label Map with Conditional Adversarial Networks。