NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation

基于扩散模型的图像插值在创造新颖有趣的图像方面具有很大的潜力。高级插值方法主要集中在球形线性插值上，其中图像被编码到噪声空间中，然后进行插值去噪。然而，现有方法在有效插值自然图像（非扩散模型生成的图像）方面面临挑战，从而限制了它们的实际应用。我们的实验研究表明，这些挑战源于编码噪声的无效性，即噪声可能不再遵循期望的噪声分布，例如正态分布。为了解决这些挑战，我们提出了一种新的方法来纠正图像插值的噪声，即NoiseDiffusion。具体来说，NoiseDiffusion通过引入微小的高斯噪声来接近无效噪声的期望分布，并引入约束来抑制极端值的噪声。在这种情况下，促进噪声的有效性有助于减轻图像伪影，但约束和引入的外源性噪声通常会导致信噪比降低，即丢失原始图像信息。因此，NoiseDiffusion在嘈杂的图像空间内执行插值，并将原始图像注入这些嘈杂的图像中，以解决信息丢失的挑战。因此，NoiseDiffusion使我们能够插值自然图像，而不会引起伪影或信息丢失，从而实现最佳的插值结果。

论文旨在解决图像插值中存在的挑战，即如何有效地插值自然图像，同时避免出现伪像和信息丢失。

NoiseDiffusion是一种新的图像插值方法，它通过引入微小的高斯噪声来纠正图像中的无效噪声，并引入约束来抑制极端值的噪声，从而将无效噪声转换为期望分布。同时，NoiseDiffusion在噪声图像空间内进行插值，并将原始图像注入这些噪声图像中，以解决信息丢失的挑战。

论文通过实验验证了NoiseDiffusion方法的有效性，该方法能够在插值过程中避免出现伪像和信息丢失，从而实现最佳插值结果。论文使用了多个数据集进行实验，并开源了代码。此外，论文还探讨了当前先进插值方法中存在的问题，并提出了解决方案。

在相关研究方面，最近的研究主要集中在图像插值和去噪领域。其中，一些相关的论文包括：'Deep Image Prior'、'Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network'、'Noise2Noise: Learning Image Restoration without Clean Data'等。