Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution

知识蒸馏（KD）是一种有前途但具有挑战性的模型压缩技术，它将来自表现良好但笨重的教师模型的丰富学习表示转移到紧凑的学生模型中。以往的图像超分辨率（SR）方法主要直接比较特征映射或在基本代数运算（例如平均值、点积）后标准化尺寸。然而，特征映射之间的内在语义差异被忽视了，这是由于网络之间不同的表达能力造成的。本研究提出了MiPKD，一种多粒度混合先验KD框架，通过在统一的潜在空间和随机网络块混合中进行特征混合，促进了高效的SR模型。广泛的实验证明了所提出的MiPKD方法的有效性。

本文旨在通过知识蒸馏技术，将复杂的教师模型中的丰富学习表示传递到简单的学生模型中，提高图像超分辨率模型的效率。

本文提出了MiPKD框架，使用多粒度混合先验知识蒸馏技术，在统一的潜在空间和随机网络块混合中促进特征混合，以实现高效的超分辨率模型。

本文的实验结果表明，MiPKD方法在图像超分辨率方面表现出色。此外，本文还提出了一种新的特征混合方法，可以更好地利用不同特征图之间的语义差异。

最近的相关研究包括：Deep Image Prior、EDSR、RCAN等。