Heterogeneous window transformer for image denoising

深度网络通常可以依靠提取更多的结构信息来改善去噪结果。然而，它们可能会忽略图像中像素之间的相关性，以追求更好的去噪性能。窗口变换器可以使用长距离和短距离建模来交互像素，以解决上述问题。为了在距离建模和去噪时间之间做出权衡，我们提出了一种异构窗口变换器（HWformer）用于图像去噪。HWformer首先设计异构全局窗口以捕获全局上下文信息以改善去噪效果。为了在长距离和短距离建模之间建立桥梁，全局窗口被水平和垂直移动以促进多样化的信息而不增加去噪时间。为了防止独立补丁的信息丢失现象，稀疏思想引导前馈网络提取相邻补丁的局部信息。所提出的HWformer在去噪时间方面仅需要流行的Restormer的30%。

提高图像去噪的效果，解决深度神经网络在追求更好的去噪效果时可能忽略像素之间的相关性的问题。

通过设计全局异构窗口来捕获全局上下文信息，从而在长距离和短距离建模之间建立桥梁，同时使用稀疏思想指导前馈网络提取相邻补丁的局部信息。

论文提出的HWformer在图像去噪中只需要Restormer的30%的时间，同时实验结果证明了其优越性和可行性。论文使用了多个数据集进行实验，并且提供了开源代码。

最近的相关研究包括：1. Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising；2. Non-local Neural Networks；3. FastDVDnet: Towards Real-Time Deep Video Denoising Without Flow Estimation。