Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation

由于低级别视觉模型的规模和计算成本过高，因此设计用于同时解决一些低级别视觉任务的全能模型已经流行。然而，现有的全能模型在任务范围和性能方面存在局限性。为了克服这些限制，我们提出了Instruct-IPT——一种全能图像处理变压器，可以有效地解决各种图像恢复任务，如去噪、去模糊、去雨、去雾和去雪等具有较大任务间隔的任务。我们提出了适应特定任务的权重调节方法，而不是流行的特征适应方法。首先，我们通过玩具实验确定了任务敏感的权重，并在其上面引入了任务特定的偏差。其次，我们对压缩策略进行了排名分析，并对偏差进行了低秩分解。第三，我们提出了同步训练方法，同时更新任务通用的骨干模型和任务特定的偏差。通过这种方式，模型被指示学习通用和任务特定的知识。通过我们简单而有效的方法，指导IPT成为任务专家，Instruct-IPT可以以较低的成本更好地协作处理具有不同特征的任务。此外，我们提出使用文本指令来操纵Instruct-IPT，以获得更好的用户界面。我们对Instruct-IPT进行了实验，以展示我们的方法在各种任务上的有效性，并成功地将我们的方法扩展到扩散去噪器。代码可在https://github.com/huawei-noah/Pretrained-IPT上获得。

本文旨在解决低级视觉模型尺寸和计算成本过高的问题，提出了Instruct-IPT，一种针对多种图像恢复任务的全能图像处理Transformer。

本文提出了一种权重调节的方法，通过任务特定的权重和偏置来适应不同的任务，采用同步训练的方式来训练通用的主干模型和任务特定的偏置，从而使模型能够学习通用和任务特定的知识。

本文的亮点在于提出了一种简单而有效的方法，使Instruct-IPT能够更好地协同处理具有不同特征的任务，并提出了使用文本指令来控制Instruct-IPT的方法。作者进行了实验来证明方法的有效性，并将其扩展到扩散去噪器。作者还提供了代码。

在这个领域中，最近的相关研究包括：Multi-task Deep Neural Network for Real-Time 3D Depth Estimation and Semantic Segmentation、Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics、Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring等。