LoFormer: Local Frequency Transformer for Image Deblurring

由于自注意力（SA）的计算复杂度，常见的图像去模糊技术通常采用采用局部SA或使用粗粒度全局SA方法，但这两种方法都存在缺陷，如全局建模不足或缺乏细粒度相关性。为了解决这个问题，有效地建模长距离依赖关系而不牺牲细粒度细节，我们引入了一种新的方法，称为局部频率变换器（LoFormer）。在LoFormer的每个单元中，我们在频域（Freq-LC）中结合了局部通道注意力机制，以同时捕捉低频和高频局部窗口内的交叉协方差。这些操作具有以下优点：（1）确保粗粒度结构和细粒度细节具有公平的学习机会；（2）与粗粒度全局SA方法相比，探索更广泛的表示属性范围。此外，我们引入了一个MLP门控机制，与Freq-LC互补，用于过滤掉不相关的特征，同时增强全局学习能力。我们的实验表明，LoFormer在图像去模糊任务中显著提高了性能，在GoPro数据集上以126G FLOPs的PSNR值达到34.09 dB。

本论文旨在解决图像去模糊任务中，全局建模和细节保留之间的矛盾问题。

该论文提出了一种新颖的方法LoFormer，通过在每个单元中引入频域的本地通道注意力（Freq-LC）和MLP门控机制，有效地建模长程依赖关系，同时保留细节。

该方法在GoPro数据集上取得了34.09dB的PSNR，并且只使用了126G FLOPs。此外，该论文还开源了代码，可以进一步研究。

在图像去模糊领域中，已经有一些相关的研究，如《DeepDeblur: Image Deblurring Using Deep Convolutional Neural Networks》和《Blind Image Deblurring Using Deep Convolutional Neural Networks》。