Light Field Image Quality Assessment With Auxiliary Learning Based on Depthwise and Anglewise Separable Convolutions

在多媒体广播中，无参考图像质量评估（NR-IQA）用于指示用户感知的质量体验（QoE），并支持智能数据传输以优化用户体验。本文提出了一种改进的无参考光场图像质量评估（NR-LFIQA）指标，用于未来的沉浸式媒体广播服务。首先，我们将深度可分离卷积（DSC）的概念扩展到光场图像（LFI）的空间域，并引入了“光场深度可分离卷积（LF-DSC）”，该方法能够高效地提取LFI的空间特征。其次，我们进一步从理论上将LF-DSC扩展到LFI的角度空间，并引入了新的概念“光场角度可分离卷积（LF-ASC）”，该方法能够在低复杂度下全面提取空间和角度特征进行质量评估。第三，我们将空间和角度特征估计定义为辅助任务，通过提供空间和角度质量特征作为提示来帮助主要的NR-LFIQA任务。据我们所知，这是首次探索使用空间-角度提示的深度辅助学习在NR-LFIQA中的应用。实验在主流的LFI数据集如Win5-LID和SMART上进行，并与主流的全参考IQA指标以及最先进的NR-LFIQA方法进行了比较。实验结果表明，所提出的指标在Win5-LID和SMART数据集上的预测误差分别比第二好的基准指标减少了42.86%和45.95%。在某些具有特定失真类型的挑战性情况下，所提出的指标可以显著减少超过60%的误差。

该论文旨在解决未来沉浸式媒体广播服务中的无参考光场图像质量评估（NR-LFIQA）问题，以优化用户体验并支持智能数据传输。这是一个具有挑战性的问题，特别是在没有参考图像的情况下评估图像质量。

论文的关键思路是引入了“光场深度可分离卷积（LF-DSC）”和“光场角度可分离卷积（LF-ASC）”，分别用于提取光场图像的空域和角域特征。此外，论文还首次探索了通过空间和角度特征作为辅助任务来支持主要的NR-LFIQA任务的深度辅助学习方法。这种方法在降低复杂度的同时提高了评估的准确性。

1. 论文提出了两种新颖的卷积方法（LF-DSC和LF-ASC），能够高效地提取光场图像的多维特征。 2. 实验在主流的光场图像数据集（如Win5-LID和SMART）上进行了验证，并与现有的全参考图像质量评估（FR-IQA）指标和最先进的NR-LFIQA方法进行了比较。 3. 实验结果显示，所提出的评估指标在预测误差方面显著优于现有方法，总体上减少了42.86%和45.95%的预测误差。 4. 在某些特定类型的失真情况下，该方法可以将误差减少超过60%，显示出其在处理复杂情况下的优越性能。

1. "Deep Learning for No-Reference Image Quality Assessment: A Survey" - 这篇综述文章详细介绍了无参考图像质量评估领域的最新进展。 2. "A Deep Learning Approach for No-Reference Light Field Image Quality Assessment" - 提出了一种基于深度学习的NR-LFIQA方法，但未涉及空间和角度特征的联合提取。 3. "Light Field Image Quality Assessment via Deep Auxiliary Learning" - 探索了深度辅助学习在光场图像质量评估中的应用，但未采用LF-DSC和LF-ASC技术。 4. "Spatial-Angular Separable Convolution for Efficient Light Field Image Processing" - 研究了空间-角度可分离卷积在光场图像处理中的效率，但未将其应用于质量评估。