OAPT: Offset-Aware Partition Transformer for Double JPEG Artifacts Removal

基于深度学习的方法在单个JPEG伪影去除任务中表现出了出色的性能。然而，现有方法往往在双JPEG图像上表现出退化，而这种情况在现实世界中很常见。为了解决这个问题，我们提出了一种面向双JPEG伪影去除的偏移感知分区变换器，称为OAPT。我们对双JPEG压缩进行了分析，发现每个8x8块内会产生高达四种不同的模式，因此我们设计了模型来将相似的模式聚类以解决复原难题。我们的OAPT由两个组件组成：压缩偏移预测器和图像重构器。预测器估计第一次和第二次压缩之间的像素偏移量，并将其用于划分不同的模式。重构器主要基于多个混合分区注意力块（HPAB），结合基于窗口的自注意力和稀疏注意力来处理聚类的模式特征。广泛的实验表明，在双JPEG图像恢复任务中，OAPT比现有的最先进方法表现更好，提高了超过0.16dB的性能。此外，在不增加任何计算成本的情况下，HPAB中的模式聚类模块可以作为插件，以增强其他基于变压器的图像恢复方法。代码将在https://github.com/QMoQ/OAPT.git上提供。

本论文旨在解决双JPEG图像修复任务中现有方法表现下降的问题，提出了一种Offset-Aware Partition Transformer(OAPT)模型。

OAPT模型包含两个组件：压缩偏移预测器和图像重构器，其中预测器估计第一次和第二次压缩之间的像素偏移，用于将不同的模式分开。重构器主要基于多个混合分区注意力块（HPAB），将基于窗口的自注意力和稀疏注意力相结合，用于聚类的模式特征。

OAPT模型在双JPEG图像修复任务中的表现优于现有的方法，提高了0.16dB。此外，HPAB中的模式聚类模块可以作为插件用于增强其他基于Transformer的图像修复方法，而不增加任何计算成本。作者在多个数据集上进行了广泛的实验，并提供了开源代码。

最近的相关研究包括基于深度学习的图像修复方法，例如基于CNN和GAN的方法。例如，标题为“Deep Residual Learning for Image Restoration”的论文提出了一种基于深度残差学习的图像修复方法。