Semantic Similarity Score for Measuring Visual Similarity at Semantic Level

语义通信作为一种革命性的通信架构，被认为是一种有前途的新型通信范式。与传统的基于符号的无误差通信系统不同，基于语义的视觉通信系统在语义级别提取、压缩、传输和重构图像。然而，广泛使用的图像相似度评估度量，无论是基于像素的MSE或PSNR，还是基于结构的MS-SSIM，在系统传输过程中往往难以准确衡量源的语义级别信息的丢失。这在评估视觉语义通信系统的性能时提出了挑战，特别是在与传统通信系统进行比较时。为了解决这个问题，我们提出了一种基于场景图生成和图匹配的语义评估度量——SeSS（语义相似度分数），将图像之间的相似度得分转化为语义级别的图匹配得分。同时，对数万对图像进行语义相似度评分，以微调图匹配算法中的超参数，使度量更接近于人类的语义感知。SeSS的性能在不同的数据集上进行了测试，包括（1）不同压缩率下传输的传统和语义通信系统的图像，（2）不同信噪比下传输的传统和语义通信系统的图像，（3）引入不同噪声水平的大规模模型生成的图像，以及（4）经过某些特殊变换的图像。实验表明SeSS的有效性，表明该度量可以衡量图像的语义级别信息的差异，并可用于视觉语义通信系统的评估。

如何评估视觉语义通信系统的性能？当前广泛使用的图像相似度评估指标不能准确衡量源图像在系统传输过程中语义级别信息的丢失，因此本文提出了一种基于场景图生成和图匹配的语义评估指标SeSS。

本文的关键思路是通过场景图生成和图匹配来衡量图像在语义级别上的相似度，将传统的像素级或结构级相似度评估指标转化为语义级别的图匹配分数。

本文提出的SeSS指标在不同数据集上进行了实验，包括传统和语义通信系统在不同压缩率和信噪比下的图像、引入不同噪声级别的大规模模型生成的图像，以及经过特定变换的图像。实验结果表明SeSS可以有效衡量图像在语义级别上的不同，并可用于视觉语义通信系统的评估。

最近的相关研究包括：1.基于卷积神经网络的图像语义相似度评估；2.基于深度学习的图像质量评估；3.基于场景图的图像分析和理解。