LMM-PCQA: Assisting Point Cloud Quality Assessment with LMM

虽然大型多模型(LMMs)在各种质量评估研究中得到了广泛的探索和应用，但它们在点云质量评估(PCQA)中的整合尚未被探索。鉴于LMM在低级视觉和质量评估任务中的出色性能和鲁棒性，本研究旨在通过文本监督来研究将PCQA知识传授给LMM的可行性。为了实现这一目标，我们在微调阶段将质量标签转换为文本描述，使LMM能够从点云的2D投影中推导出质量评分logits。为了弥补3D领域中感知的损失，还提取了结构特征。然后将这些质量logits和结构特征组合并回归到质量分数中。我们的实验结果证实了我们的方法的有效性，展示了LMM与PCQA的新颖整合，提高了模型的理解和评估准确性。我们希望我们的贡献可以激发后续对LMM与PCQA融合的研究，促进3D视觉质量分析等领域的进步。

本文旨在探讨将大型多模态模型（LMM）融合到点云质量评估（PCQA）中的可行性，并通过文本监督将质量标签转化为文本描述，从而使LMM能够从点云的二维投影中推导质量评分logits。该研究旨在提高模型理解和评估准确性。

通过将质量标签转化为文本描述，从而使LMM能够从点云的二维投影中推导质量评分logits，并结合结构特征将其回归为质量分数。

实验结果表明，该方法有效地将LMM融合到PCQA中，提高了模型理解和评估准确性。该研究为LMM与PCQA的融合提供了新思路，有望在三维视觉质量分析等领域推动进一步研究。

最近的相关研究包括使用LMM进行质量评估研究，以及其他点云质量评估方法的探索，如基于深度学习的方法、基于几何特征的方法等。