Priorformer: A UGC-VQA Method with content and distortion priors

用户生成的内容（UGC）视频容易受到复杂和多变的退化和内容的影响，这使得现有的盲视频质量评估（BVQA）模型表现不佳，因为缺乏对失真和内容的适应能力。为了缓解这个问题，我们提出了一种新颖的基于先验增强的感知视觉转换器（PriorFormer）来进行UGC的BVQA，增强了其对不同内容和失真的适应能力和表征能力。具体来说，我们通过从两个预训练的特征提取器中提取内容和失真嵌入来引入两个强大的先验。然后，我们采用这两个强大的嵌入作为自适应先验标记，与隐式质量特征一起传输到视觉转换器主干中。基于以上策略，所提出的PriorFormer在包括KoNViD-1K、LIVE-VQC和YouTube-UGC在内的三个公共UGC VQA数据集上取得了最先进的性能。

本论文旨在解决现有的盲目视频质量评估模型在处理UGC视频时表现不佳的问题，因为其缺乏对多样化扭曲和内容的适应性和表示能力。

本论文提出了一种新的先验增强感知视觉变换器（PriorFormer）来解决UGC的BVQA问题，通过提取两个预训练特征提取器的内容和扭曲嵌入来引入两个强大的先验知识，然后将这两个嵌入作为自适应先验令牌与隐式质量特征一起传递到视觉变换器骨干部分。

实验表明，PriorFormer在三个公共UGC VQA数据集（KoNViD-1K，LIVE-VQC和YouTube-UGC）上实现了最先进的性能。该论文提出的先验增强方法为解决BVQA问题提供了新的思路。

在相关研究方面，最近的一些研究包括：'No-Reference Quality Assessment for Compressed Video Using a Multi-Task Deep Neural Network'，'Deep Learning for Image and Video Quality Assessment'，'A Survey on Blind Video Quality Assessment'等。