NVS-SQA: Exploring Self-Supervised Quality Representation Learning for Neurally Synthesized Scenes without References

神经视图合成（NVS），例如NeRF和3D高斯点绘，能够从稀疏视角生成照片级真实感场景，通常使用PSNR、SSIM和LPIPS等质量评估方法进行评估。然而，这些全参考方法通过将合成视图与参考视图进行比较，可能无法全面反映神经合成场景（NSS）的感知质量，特别是由于密集参考视图的获取有限。此外，获取人类感知标签的困难也阻碍了大规模标注数据集的构建，从而增加了模型过拟合和泛化能力下降的风险。为了解决这些问题，我们提出了NVS-SQA，这是一种针对NSS的质量评估方法，通过自监督学习来获取无参考的质量表征，无需依赖人工标注的标签。传统的自监督学习主要依赖于“同一实例，相似表征”的假设以及大量数据集。然而，在NSS质量评估任务中，这些条件并不适用。因此，我们采用启发式线索和质量评分作为学习目标，并设计了一种专门的对比样本对构建流程，以提升学习的有效性和效率。实验结果显示，NVS-SQA在多项评估指标上大幅超越了17种无参考方法（例如，在SRCC、PLCC和KRCC指标上分别平均领先第二名109.5%、98.6%和91.5%），甚至在所有评估指标上都超过了16种全参考方法（分别领先第二名22.9%、19.1%和18.6%）。

论文旨在解决神经视图合成（Neural View Synthesis, NVS）中缺乏有效的无参考质量评估方法的问题。现有的全参考评估方法（如PSNR、SSIM、LPIPS）依赖于密集的真实参考图像，而在实际场景中，这些参考图像往往难以获取。此外，由于缺乏人类感知标签，限制了模型的泛化能力。论文试图验证是否可以通过自监督学习构建一个无需参考图像的质量评估模型。

论文提出了一种名为NVS-SQA的无参考质量评估方法，利用启发式线索和质量评分作为学习目标，结合特殊的对比样本构建策略，在没有人类标注数据的情况下进行自监督学习。这种方法打破了传统自监督学习依赖“相同实例具有相似表示”的假设，适用于神经合成场景的质量评估任务。

1. NVS-SQA在多个评估指标（SRCC、PLCC、KRCC）上显著优于17种无参考方法，并超越16种全参考方法。 2. 实验设计结合了启发式质量评分和对比学习策略，提升了模型的学习效率和有效性。 3. 论文未提及具体数据集和开源信息，但强调方法的有效性在多个基准上得到了验证。 4. 未来可探索该方法在更多类型神经渲染任务中的泛化能力，以及如何进一步减少对参考图像的依赖。

1. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (ECCV 2020) 2. 3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023) 3. Blind Image Quality Assessment: From Natural Scene Statistics to Neural Networks (TIP 2021) 4. MetaIQA: Deep Image Quality Assessment Based on Patch-wise Multi-level Fusion (CVPR 2022) 5. Learning to Assess Image Quality Without Ground Truth: A Survey (TPAMI 2023)