ReLaX-VQA: Residual Fragment and Layer Stack Extraction for Enhancing Video Quality Assessment

随着用户和共享平台之间生成的用户生成内容（UGC）的快速增长，需要在野外进行视频质量评估。UGC大多使用消费设备获取，并在到达最终用户之前经过多轮压缩或转码。因此，需要参考原始内容的传统质量指标无法使用。本文提出了一种新颖的无参考视频质量评估（NR-VQA）模型ReLaX-VQA，旨在解决评估视频内容多样性和质量评估的挑战，而无需参考视频。 ReLaX-VQA使用残差帧和光流的片段，以及采样帧的不同空间特征的不同表达方式，以增强运动和空间感知。此外，该模型通过在深度神经网络特征（来自残差网络和视觉变换器）中采用层叠技术来增强抽象。在四个UGC数据集上进行的广泛测试证实，ReLaX-VQA优于现有的NR-VQA方法，平均SRCC值为0.8658，PLCC值为0.8872。我们将开源代码和训练模型，以促进NR-VQA的进一步研究和应用：https://github.com/xinyiW915/ReLaX-VQA。

本论文旨在解决无参考视频质量评估（NR-VQA）的挑战，即如何在没有原始视频作为参考的情况下评估用户生成的视频内容的质量。

ReLaX-VQA模型采用残差帧和光流的片段，以及采样帧的不同空间特征表达，以增强运动和空间感知。此外，模型通过在深度神经网络特征（来自残差网络和Vision Transformers）中使用层叠技术来增强抽象能力。

论文在四个UGC数据集上进行了广泛测试，并证实ReLaX-VQA模型的性能优于现有的NR-VQA方法，平均SRCC值为0.8658，PLCC值为0.8872。论文还开源了代码和训练模型，以促进进一步的研究和应用。

最近的相关研究包括：1. 'No-Reference Video Quality Assessment Using Spatio-Temporal Deep Features'；2. 'A Two-Stream Enhanced Video Quality Assessment Method for User Generated Videos'；3. 'A No-Reference Video Quality Assessment Method Based on Multi-Task Learning'