MTKD: Multi-Teacher Knowledge Distillation for Image Super-Resolution

知识蒸馏（KD）已成为深度学习中一种有前途的技术，通常用于通过从高性能但更复杂的教师模型中学习来增强紧凑的学生网络。当应用于图像超分辨率的情况下，大多数KD方法都是其他计算机视觉任务开发的方法的修改版本，这些方法基于单个教师的训练策略和简单的损失函数。在本文中，我们提出了一种新的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率。它通过结合和增强这些教师模型的输出来利用多个教师的优势，然后指导紧凑的学生网络的学习过程。为了实现更有效的学习性能，我们还开发了一种新的基于小波的MTKD损失函数，它可以在空间和频率域中观察差异，从而更好地优化训练过程。我们通过将其与基于三种流行网络架构的五种常用KD方法进行比较，充分评估了所提出的方法的有效性。结果显示，与不同网络结构的最新KD方法相比，所提出的MTKD方法在超分辨率性能方面取得了明显的改进，最高可达0.46dB（基于PSNR）。MTKD的源代码将在此处提供以供公众评估。

本文旨在提出一种新的多教师知识蒸馏（MTKD）框架，用于图像超分辨率，以提高紧凑的学生网络的性能。

MTKD利用多个教师的优点，结合和增强这些教师模型的输出，从而指导紧凑的学生网络的学习过程。此外，作者还提出了一种新的基于小波的损失函数，可以更好地优化训练过程。

本文通过比较三种常用网络结构上的五种常用知识蒸馏方法，充分评估了所提出的MTKD方法的有效性。实验结果表明，相对于现有的知识蒸馏方法，MTKD方法在超分辨率性能方面取得了明显的提高，最高可达0.46dB（基于PSNR）。作者还将MTKD的源代码公开。

近期的相关研究包括：《Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution》、《Enhanced Deep Residual Networks for Single Image Super-Resolution》、《Deeply-Recursive Convolutional Network for Image Super-Resolution》等。