Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance

2024年05月06日
  • 简介
    最近,用户生成的内容(UGC)视频在我们的日常生活中越来越受欢迎。然而,由于摄影设备和技术的限制,UGC视频经常遭受曝光不足的问题。因此,提出了视频曝光校正(VEC)算法,包括低光视频增强(LLVE)和过曝视频恢复(OEVR)。与VEC同样重要的是视频质量评估(VQA)。不幸的是,几乎所有现有的VQA模型都是通用构建的,从综合的角度衡量视频的质量。因此,提出了基于LLVE-QA训练的Light-VQA,用于评估LLVE。我们通过将LLVE-QA数据集扩展为视频曝光校正质量评估(VEC-QA)数据集,并包括过曝视频及其相应的校正版本,扩展了Light-VQA的工作。此外,我们提出了Light-VQA+,一种专门用于评估VEC的VQA模型。Light-VQA+与Light-VQA的主要区别在于使用CLIP模型和视觉语言指导进行特征提取,然后通过一个新模块参考人类视觉系统(HVS)进行更准确的评估。广泛的实验结果表明,我们的模型在VEC-QA数据集和其他公共数据集上的表现优于当前最先进的VQA模型。
  • 作者讲解
  • 图表
  • 解决问题
    本论文旨在解决用户生成内容(UGC)视频中存在的曝光不足或过度曝光的问题,提出了Video Exposure Correction Quality Assessment (VEC-QA)数据集和Light-VQA+模型来评估视频质量。
  • 关键思路
    Light-VQA+模型使用了CLIP模型和人类视觉系统(HVS)的引导,结合新的模块来进行更准确的评估,相比现有的VQA模型在VEC-QA数据集和其他公共数据集上表现更好。
  • 其它亮点
    论文扩展了LLVE-QA数据集,提出了VEC-QA数据集,包括过度曝光视频及其相应的修正版本。实验结果表明,Light-VQA+模型在VEC-QA数据集和其他公共数据集上的表现优于当前最先进的VQA模型。
  • 相关研究
    最近的相关研究包括:Low-Light Image Enhancement、HDR Image Reconstruction和Image Quality Assessment等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问