TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising

本文针对自监督图像去噪（SSID）中盲点网络（BSN）的网络架构，指出现有的基于卷积层的BSN存在局限性，而变形器（transformer）则具有潜在的克服卷积局限性的能力，并且在各种图像恢复任务中取得了成功。然而，变形器的注意力机制可能会违反盲点要求，因此限制了它们在SSID中的适用性。因此，本文提出了一种基于变形器的盲点网络（TBSN），通过分析和重新设计变形器操作符以满足盲点要求。具体来说，TBSN遵循扩张BSN的架构原则，并结合空间和通道自注意层来增强网络能力。对于空间自注意力，我们应用精细的掩码来限制其感受野，从而模拟扩张卷积。对于通道自注意力，我们观察到在多尺度架构的深层中，当通道数大于空间大小时，它可能会泄漏盲点信息。为了消除这种影响，我们将通道分成几组，并分别执行通道注意力。此外，我们引入知识蒸馏策略，将TBSN蒸馏成更小的去噪器，以提高计算效率同时保持性能。在真实世界的图像去噪数据集上进行了广泛的实验，结果表明TBSN大大扩展了感受野，并展示了对抗最先进SSID方法的有利性能。代码和预训练模型将在https://github.com/nagejacob/TBSN上公开发布。

本文旨在解决自监督图像去噪（SSID）中的盲点要求问题，即如何在Transformer中实现盲点网络（BSN）。

本文提出了一种基于Transformer的盲点网络（TBSN）架构，通过分析和重新设计Transformer运算符以满足盲点要求。TBSN遵循扩张BSN的架构原则，并结合空间和通道自注意力层来增强网络能力。

本文的亮点包括： 1. 提出了一种新的基于Transformer的盲点网络（TBSN）架构；2. 引入了知识蒸馏策略来提高计算效率；3. 在多个真实世界的图像去噪数据集上进行了广泛的实验，并且与当前最先进的SSID方法相比具有更好的性能；4. 代码和预训练模型将公开发布。

最近在这个领域中，还有一些相关的研究，如：1.《DnCNN-T: A Training Strategy to Improve DnCNN's Performance in Image Denoising》；2. 《Unprocessing Images for Learned Raw Denoising》；3. 《Noise2Self: Blind Denoising by Self-Supervision》等。