Exploring the Low-Pass Filtering Behavior in Image Super-Resolution

图像超分辨率（ISR）的深度神经网络相对于插值等传统方法具有显著优势，但与具有坚实数学基础的传统方法相比，它们经常被批评为“黑匣子”。本文尝试使用信号处理领域的理论解释深度神经网络在ISR中的行为。首先，我们报告了一种有趣的现象，称为“sinc现象”。当脉冲输入被馈送到神经网络时，它就会发生。然后，基于这一观察结果，我们提出了一种名为混合响应分析（HyRA）的方法来分析神经网络在ISR任务中的行为。具体而言，HyRA将神经网络分解为线性系统和非线性系统的并联连接，并证明线性系统作为低通滤波器，而非线性系统注入高频信息。最后，为了量化注入的高频信息，我们引入了一种名为频谱分布相似度（FSDS）的图像对图像任务度量。FSDS反映了不同频率分量的分布相似性，并且可以捕捉传统度量可能忽略的细微差别。本文的代码、视频和原始实验结果可在以下网址找到：https://github.com/RisingEntropy/LPFInISR。

研究深度神经网络在图像超分辨率中的行为，解释其黑盒子特性并提出一种新的分析方法。

将深度神经网络分解为线性系统和非线性系统，并证明线性系统是低通滤波器，非线性系统注入高频信息。

论文报告了一个有趣的现象——'sinc现象'，提出了一种新的分析方法Hybrid Response Analysis（HyRA），并引入了一种新的度量标准FSDS，可以反映不同频率成分之间的分布相似度。

近期的相关研究包括：'Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network'，'Image Super-Resolution Using Deep Convolutional Networks'，'Deep Residual Learning for Image Super-Resolution'等。