Object-Attribute-Relation Representation based Video Semantic Communication

随着多媒体数据量的快速增长，虚拟现实和未来视频流服务等应用中需要越来越高效的视频传输。在低带宽、高噪声环境中，语义通信正在成为确保高效可靠传输的重要技术。然而，大多数当前方法都集中在依赖端到端训练的联合源-信道编码（JSCC）上。这些方法通常缺乏可解释的语义表示，并且难以适应各种下游任务。本文介绍了使用对象-属性-关系（OAR）作为视频的语义框架，以促进低比特率编码并增强JSCC过程，实现更有效的视频传输。我们利用OAR序列进行低比特率表示和生成视频重建。此外，我们将OAR纳入图像JSCC模型中，以优先为下游任务更关键的区域分配通信资源。我们在交通监控视频数据集上进行实验，评估了我们方法在视频传输性能方面的有效性。实证结果表明，我们基于OAR的视频编码方法不仅在较低比特率下优于H.265编码，而且与JSCC协同工作，实现了强大而高效的视频传输。

论文旨在解决低带宽、高噪声环境下视频传输的效率和可靠性问题，提出了一种基于对象-属性-关系（OAR）的语义框架，以促进低比特率编码和增强联合源-通道编码（JSCC）过程，实现更有效的视频传输。

论文的关键思路是利用OAR序列进行低比特率表示和生成式视频重建，并将OAR纳入图像JSCC模型中，以优先为下游任务更关键的区域分配通信资源。

论文的实验使用了交通监控视频数据集，证明了OAR基于视频编码方法不仅在更低比特率下优于H.265编码，而且与JSCC相结合，可以提供稳健和高效的视频传输。

在这个领域中，还有一些相关研究，例如：《基于深度学习的视频编码方法》、《基于神经网络的视频压缩方法》等。