Diffusion-Aided Joint Source Channel Coding For High Realism Wireless Image Transmission

这篇论文介绍了基于深度学习的联合源通信信道编码（Deep JSCC）在无线图像传输中的有效应用，但目前的研究集中在最小化标准失真指标（如均方误差MSE），这并不一定能提高感知质量。为了解决这个问题，作者提出了DiffJSCC，这是一个新的框架，利用预训练的文本到图像扩散模型来增强通过信道传输的图像的真实感。DiffJSCC利用先前的Deep JSCC框架在接收端提供一个初始重建图像。然后从初始重建图像中提取空间和文本特征，将它们与信道状态信息（如信噪比SNR）一起传递给控制模块，以微调预训练的稳定扩散模型。在Kodak数据集上的广泛实验表明，DiffJSCC方法在感知度量（如LPIPS和FID分数）上明显优于传统方法和先前的Deep JSCC方法，特别是在劣质信道条件和有限带宽下。值得注意的是，DiffJSCC可以在1dB SNR下仅使用3072个符号（<0.008符号/像素）实现768x512像素Kodak图像的高度逼真的重建。作者将在https://github.com/mingyuyng/DiffJSCC发布源代码。

论文旨在解决当前无线图像传输中，深度联合源通道编码（deep JSCC）仅关注标准失真度量（如均方误差）而忽略了感知质量的问题。作者提出了DiffJSCC框架，利用预训练的文本到图像扩散模型来提高传输图像的逼真度。

DiffJSCC框架利用先前的深度JSCC框架提供的初始重建图像，提取空间和文本特征，结合信道状态信息，通过控制模块微调预训练的稳定扩散模型，从而提高传输图像的感知质量。

论文在Kodak数据集上进行了广泛的实验，结果表明DiffJSCC方法在感知指标（如LPIPS和FID得分）上显著优于传统方法和先前的深度JSCC方法，特别是在信道条件差和带宽受限的情况下。作者还公开了代码。

最近的相关研究包括： 1. Joint Source-Channel Coding for Wireless Image Transmission Using Learned Representations 2. End-to-end optimized joint source-channel coding for wireless image transmission 3. Deep learning-based joint source-channel coding for wireless image transmission