I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation

本文提出了一种新的知识蒸馏方法，专门针对图像语义分割，称为Intra- and Inter-Class Knowledge Distillation (I2CKD)。该方法的重点在于捕捉和传递教师模型（笨重模型）和学生模型（紧凑模型）之间的中间层知识。为了进行知识提取，我们利用从特征映射中派生的类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，并最大化类间方差。因此，I2CKD使得学生能够更好地模仿教师模型中每个类的特征表示，从而提高了紧凑网络的分割性能。通过使用各种教师-学生网络对三个分割数据集（Cityscapes、Pascal VOC和CamVid）进行广泛实验，证明了所提出方法的有效性。

本论文旨在提出一种面向图像语义分割的知识蒸馏方法，旨在解决如何在教师（笨重模型）和学生（紧凑模型）之间捕获和传递知识的问题。

该方法的关键思路是利用从特征图派生的类原型进行知识提取，并采用三元组损失来促进知识转移，从而使学生更好地模仿教师的特征表示。

该论文使用了三个分割数据集进行了广泛实验，并证明了所提出的方法的有效性。此外，论文还开源了代码。

最近的相关研究包括："Deep Mutual Learning"和"Knowledge Distillation for Semantic Segmentation"。