Personalized Restoration via Dual-Pivot Tuning

生成扩散模型可以作为先验，确保图像恢复系统的解遵循自然图像的流形。然而，对于恢复面部图像，需要个性化的先验来准确地表示和重建给定个体的独特面部特征。在本文中，我们提出了一种简单而有效的个性化恢复方法，称为双枢轴调节——这是一种两阶段方法，个性化盲恢复系统，同时保持通用先验和每个组件的不同作用的完整性。我们的关键观察是，为了实现最佳个性化，生成模型应该围绕一个固定的文本枢轴进行调整，而引导网络应该以通用（非个性化）的方式进行调整，使用个性化生成模型作为固定的“枢轴”。这种方法确保个性化不会干扰恢复过程，从而产生自然的外观，高度忠实于人的身份和受损图像的属性。我们通过对广泛认可的个人图像进行广泛的定性和定量实验来评估我们的方法，将其与相关基线进行比较。令人惊讶的是，我们发现我们的个性化先验不仅在身份方面实现了更高的忠实度，而且在图像质量方面也优于最先进的通用先验。项目网页：https://personalized-restoration.github.io。

本论文旨在解决人脸图像恢复过程中的个性化问题，即如何恢复独特的面部特征。这是否是一个新问题？

论文提出了一种名为Dual-Pivot Tuning的两阶段方法，该方法在保持通用先验和每个组件的独特角色的同时，对盲目恢复系统进行个性化处理。该方法的关键观察是，为了实现最佳个性化，生成模型应围绕固定的文本轴进行调整，而引导网络应以通用方式调整，使用个性化生成模型作为固定的“轴”。这种方法确保个性化不会干扰恢复过程，从而产生自然的外观，并高度忠实于人物身份和受损图像的属性。

该论文通过广泛的实验对其方法进行了定量和定性评估，使用广泛认可的人物的图像进行比较。实验结果表明，与相关基线相比，我们的个性化先验不仅实现了更高的身份忠实度，而且在图像质量方面也优于最先进的通用先验。该论文的项目网页提供了数据集和开源代码。

最近在这个领域中，还有一些相关研究，例如：'Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections'，'Deep Convolutional Neural Network for Image Deconvolution'，'Learning Deep CNN Denoiser Prior for Image Restoration'。