PromptCIR: Blind Compressed Image Restoration with Prompt Learning

盲目压缩图像恢复（CIR）因其实际应用而受到重视。它旨在减轻由未知质量因素引起的压缩伪影，特别是对于JPEG编解码器。现有的盲目CIR作品通常寻求质量因子预测网络的帮助，以促进其网络恢复压缩图像。然而，预测的数值质量因子缺乏空间信息，阻止了网络对图像内容的适应性。最近的快速学习图像恢复研究展示了提示在各种降级类型和程度之间推广的潜力。这促使我们设计了一个基于提示学习的压缩图像恢复网络，称为PromptCIR，它可以有效地从各种压缩级别中恢复图像。具体来说，PromptCIR利用提示隐式编码压缩信息，其中提示直接与从图像特征生成的软权重交互，从而为恢复过程提供动态的内容感知和失真感知指导。轻量级提示使我们的方法能够适应不同的压缩级别，同时引入最小的参数开销。总的来说，PromptCIR利用强大的基于变压器的主干和动态提示模块有效地处理盲目CIR任务，在盲目压缩图像增强轨道的NTIRE 2024挑战中获得第一名。广泛的实验证实了我们提出的PromptCIR的有效性。代码可在https://github.com/lbc12345/PromptCIR-NTIRE24上获得。

本论文旨在解决盲压缩图像恢复中的问题，即如何有效地恢复由未知质量因素引起的压缩伪影，特别是在JPEG编解码器中。同时，该论文试图验证使用提示学习实现压缩图像恢复的可行性。

该论文提出了一种基于提示学习的压缩图像恢复网络，名为PromptCIR。其利用提示来隐式编码压缩信息，并提供动态的内容感知和失真感知指导，以帮助网络恢复图像。同时，该方法采用轻量级提示，可以适应不同的压缩级别，同时引入最小的参数开销。

该论文的亮点包括：1. 提出了一种基于提示学习的压缩图像恢复网络，可以适应不同的压缩级别；2. 提出了一种动态的内容感知和失真感知指导方法，以帮助网络恢复图像；3. 在NTIRE 2024盲压缩图像增强赛道中获得了第一名；4. 代码已经开源，可在GitHub上获取。

在这个领域中，最近还有一些相关的研究，例如：1. Learning to Restore Compressed Images via Spatially Variant Dequantization and Attention Mechanism; 2. Compression Artifacts Reduction by a Deep Convolutional Network with Feedback Connections; 3. Efficient Blind JPEG Artifacts Removal Using a Convolutional Neural Network.