Adaptive Wireless Image Semantic Transmission and Over-The-Air Testing

随着人工智能（AI）的快速发展，语义通信经历了相当大的演变，显著提高了通信的稳健性和效率。尽管取得了这些进展，目前大多数图像传输的语义通信方法很少关注图像中物体和背景的不同重要性。为了解决这个问题，我们提出了一种新的方案，名为ASCViT-JSCC，它利用了与正交频分复用（OFDM）系统集成的视觉变换器（ViTs）。该方案根据你只看一次版本5（YOLOv5）的物体检测和尺度不变特征变换（SIFT）的特征点检测所确定的不同部分的重要性顺序，自适应地为图像中的物体和背景分配带宽。此外，所提出的方案通过整合量化模块遵循数字调制标准。我们通过名为智能通信原型验证平台（ICP）的软件定义无线电（SDR）和NVIDIA嵌入式套件的实时测试来验证这种方法。我们从模拟和实际测量中发现，与现有方法相比，ASCViT-JSCC显著地保留了图像中的物体并增强了重建质量。

本论文旨在解决图像传输中物体和背景的重要性不同所带来的问题，并提出一种新的方案。

该方案使用集成了ViTs和OFDM系统的ASCViT-JSCC方案，根据YOLOv5和SIFT的对象检测和特征点检测确定不同部分的重要性顺序，自适应地分配图像中对象和背景的带宽，同时采用量化模块遵循数字调制标准。

论文使用智能通信原型验证平台（ICP）基于软件定义无线电（SDR）和NVIDIA嵌入式套件进行了实际测量，结果表明ASCViT-JSCC方案相比现有方法显著地保留了图像中的物体并增强了重建质量。

近期的相关研究包括：1. 'Semantic Image Compression via Adaptive Masking and Selective Refinement'；2. 'Semantic Image Compression with Spatially-Adaptive Transform and Bit Allocation'；3. 'Deep Learning for Image Compression: A Survey'。