Generalizing to Out-of-Sample Degradations via Model Reprogramming

现有的图像恢复模型通常是为特定任务设计的，难以推广到训练过程中未遇到的样本退化。零样本方法可以通过在测试样本上微调模型参数来解决这个问题，但它们的有效性依赖于预定义的特定退化的自然先验和物理模型。然而，在真实场景中确定未遇到的样本退化总是不切实际的。因此，更理想的方法是训练具有内在泛化能力的恢复模型。为此，本文引入了“样本外恢复”（OSR）任务，旨在开发能够处理样本外退化的恢复模型。一种直观的解决方案是将样本外退化预先转换为已知的恢复模型的退化。然而，直接在图像空间中进行转换可能会导致复杂的图像转换问题。为解决这个问题，我们提出了一个模型重新编程框架，该框架通过量子力学和波函数将样本外退化转换。具体来说，输入图像被解耦为振幅和相位项的波函数。样本外退化的转换通过调整相位项来完成。同时，图像内容在振幅项中得到保留和增强。通过将这两个项作为输入，恢复模型能够处理样本外退化而无需微调。通过在多个评估案例中进行广泛实验，我们展示了我们提出的框架的有效性和灵活性。我们的代码可在\href{https://github.com/ddghjikle/Out-of-sample-restoration}{Github}上获得。

本论文提出了Out-of-Sample Restoration (OSR)任务，旨在开发具有内在泛化能力的恢复模型，以处理未知的退化情况。

该论文提出了一种模型重编程框架，通过量子力学和波函数将未知的退化情况转化为已知的退化情况，使得恢复模型能够处理未知的退化情况而无需微调。

论文的实验结果表明，该框架具有很好的效果和灵活性。论文的代码已在Github上公开。值得进一步研究的是，最近在这个领域中，还有其他相关的研究，例如zero-shot方法和特定退化情况的物理模型。

最近在这个领域中，还有一些相关的研究，例如《Zero-shot Image Restoration: A New Problem Setting and Benchmark》和《Deep Image Prior》。