PnP-Flow: Plug-and-Play Image Restoration with Flow Matching

本文介绍了一种解决成像反问题的算法，称为Plug-and-Play（PnP）Flow Matching。PnP方法利用预先训练的去噪器（通常是深度神经网络），将它们整合到优化方案中。虽然它们在成像的各种反问题上实现了最先进的性能，但PnP方法在像修复这样更具生成性的任务上面临固有的局限性。另一方面，生成模型（如Flow Matching）推动了图像采样的边界，但缺乏一种清晰的方法来有效地用于图像恢复。我们建议将PnP框架与Flow Matching（FM）相结合，通过使用预训练的FM模型定义一个时间相关的去噪器。我们的算法在数据保真度项上交替进行梯度下降步骤、学习的FM路径上的投影和去噪。值得注意的是，我们的方法计算效率高，内存友好，因为它避免了对ODE和跟踪计算的反向传播。我们评估了它在去噪、超分辨率、去模糊和修复任务中的性能，展示了比现有的PnP算法和基于Flow Matching的最先进方法更优异的结果。

本文旨在解决成像反问题，即图像去噪、超分辨率、去模糊和修复等问题。同时，本文试图将Flow Matching与Plug-and-Play（PnP）框架相结合，以提高成像反问题的解决效果。

本文提出了一种新的算法——Plug-and-Play Flow Matching，该算法将Flow Matching模型与PnP框架相结合，通过定义一个基于预训练的Flow Matching模型的时变去噪器来解决成像反问题。该算法通过梯度下降、投影和去噪三个步骤交替进行，避免了ODEs和迹计算等计算复杂度高的操作，具有计算效率和内存友好的特点。

本文的实验结果表明，Plug-and-Play Flow Matching算法在去噪、超分辨率、去模糊和修复等成像反问题上均取得了优于现有PnP算法和基于Flow Matching的最新方法的表现。此外，本文还使用了多个数据集进行实验验证，并公开了代码。

最近在成像反问题领域中，还有一些相关的研究，如PnP算法、深度学习方法等。