Asynchronous Feedback Network for Perceptual Point Cloud Quality Assessment

近年来，深度学习技术在无参考点云质量评估（NR-PCQA）研究中取得了成功。为了更准确地预测质量，许多先前的研究尝试从自下而上的方式捕捉全局和局部特征，但忽略了它们之间的交互和促进作用。为了解决这个问题，我们提出了一种新颖的异步反馈网络（AFNet）。受人类视觉感知机制的启发，AFNet采用双分支结构处理全局和局部特征，模拟人脑的左右半球，并在它们之间构建反馈模块。具体而言，输入点云首先被送入基于转换器的全局编码器，以生成突出这些语义丰富区域的注意力图，然后被合并为全局特征。然后，我们利用生成的注意力图对不同语义区域执行动态卷积，并获得局部特征。最后，采用从粗到细的策略将两种特征合并为最终的质量得分。我们在三个数据集上进行了全面的实验，并在所有这些数据集上实现了优于现有方法的性能。代码将在https://github.com/zhangyujie-1998/AFNet上提供。

本篇论文旨在解决无参考点云质量评估（NR-PCQA）中全局和局部特征之间交互和促进的问题，提出了一种新的异步反馈网络（AFNet）。

AFNet采用双分支结构处理全局和局部特征，并构建它们之间的反馈模块。使用transformer-based全局编码器生成注意力图，然后将其合并为全局特征。接着，利用生成的注意力图为不同的语义区域执行动态卷积并获得局部特征。最后，采用粗到细的策略将两种特征合并为最终质量得分。

论文在三个数据集上进行了全面的实验，并在所有数据集上实现了优于现有方法的性能。代码可在https://github.com/zhangyujie-1998/AFNet上找到。

最近的相关研究包括“Point Cloud Quality Assessment via Adaptive Sampling and Learning”和“Deep Learning-based No-Reference Point Cloud Quality Assessment Using Graph Convolutional Networks”。