Residual-Conditioned Optimal Transport: Towards Structure-preserving Unpaired and Paired Image Restoration

基于深度学习的图像恢复方法已经取得了很好的表现，但如何忠实地保留原始图像的结构仍然是一个挑战。为了解决这个问题，我们提出了一种新的残差条件最优传输（RCOT）方法，将图像恢复建模为一种最优传输（OT）问题，用于无配对和配对设置，将传输残差作为一种独特的退化特定提示集成到传输成本和传输映射中。具体而言，我们首先通过将残差的退化特定信息融入传输成本中，制定了一个傅里叶残差引导的OT目标。基于OT公式的对偶形式，我们将传输映射设计为一个由基本模型和细化过程组成的两遍RCOT映射，其中传输残差在第一遍中由基本模型计算，然后编码为一种特定的退化嵌入，以调节第二遍的恢复。通过对偶性，RCOT问题被转化为一个极小极大优化问题，可以通过对抗性训练神经网络来解决。多个恢复任务的广泛实验表明，我们的方法在失真度量和感知质量方面都很有效。特别是，与最先进的方法相比，RCOT可以恢复出更多忠实的结构细节图像。

论文旨在解决图像恢复中如何保留原始图像结构的问题。这是否是一个新问题？

论文提出了一种新的Residual-Conditioned Optimal Transport (RCOT)方法，将图像恢复建模为一个最优传输问题，通过将传输残差作为独特的退化特定提示来集成传输成本和传输映射，从而解决了原始图像结构的保留问题。

论文通过实验验证了RCOT方法的有效性，包括多个恢复任务的失真度量和感知质量等方面。此外，论文还提供了相关数据集和开源代码，为后续研究提供了便利。

最近在该领域中，还有一些相关的研究，如Deep Image Prior，Deep Convolutional Neural Networks，以及Residual Learning等。