中科院MixSKD：用于图像识别的Mixup自蒸馏方法

图1. MixSKD基本思想

方法

1 任务引导的分类误差

来自结构源的误差：使用原始的交叉熵任务误差来训练主网络f和K-1个辅助分支，使之获得分类能力和产生语义特征：

\( L_{cls\_b\_f}(x,y)=L_{ce}(\sigma(f(x)),y)+\sum_{k=1}^{K}L_{ce}(\sigma(b_{k}(x)),y), \)

来自数据源的误差：给定输入图像 \( x_i \)​ , \( x_j \) 和Mixup图像 \( x_{ij} \)​ ，代入结构源的误差，可以得到任务误差：

\( L_{cls\_mixup}=L_{cls\_b\_f}(x_{i},y_{i})+L_{cls\_b\_f}(x_{j},y_{j}) +L_{cls\_b\_f}(\tilde{x}_{ij},\tilde{y}_{ij}) \)

2 特征图Self-KD

使用L2距离来逼近原始图像插值得到的特征图与Mixup图像生成的特征图：

\( L_{feature}=\sum_{k=1}^{K}\frac{1}{HWC}\parallel \tilde{F}_{k}(x_{i},x_{j}) - F_{k}(\tilde{x}_{ij})\parallel^{2}. \)

受对抗学习思想的启发，本文引入了一个判别器来判别特征来源于插值还是Mixup图像来提升特征逼近的难度，从而使得网络能够学习到有效的语义特征：

\( L_{dis}=-\sum_{k=1}^{K}\log[D_{k}(\tilde{F}_{k}(x_{i},x_{j}))]+\log[1-D_{k}(F_{k}(\tilde{x}_{ij}))]. \)

3 概率分布Self-KD

本方法使用KL散度去逼近原始图像插值得到的概率分布与Mixup图像产生的概率。在K-1辅助分支上使用如下的误差：

\( L_{b\_logit}((x_{i},x_{j}),\tilde{x}_{ij})=\sum_{k=1}^{K-1}[L_{KL}(\sigma(\tilde{b}_{k}(x_{i},x_{j})/T),\sigma(\overline{b_{k}(\tilde{x}_{ij})}/T))+L_{KL}(\sigma(b_{k}(\tilde{x}_{ij})/T),\sigma(\overline{\tilde{b}_{k}(x_{i},x_{j})}/T)]. \)

对于最终的主干网络，本方法进一步构造了一个self-teacher网络来提供高质量的软标签作为监督信号。self-teacher网络聚合网络中间层的特征，然后通过一个线性分类器输出类别概率分布，受到Mixup插值标签的监督：

\( L_{cls\_h}=L_{ce}(\sigma(h(x_{i},x_{j})),\tilde{y}_{ij})+L_{ce}(\sigma(h(\tilde{x}_{ij})),\tilde{y}_{ij}). \)

主干网络最终输出的类别概率分布的监督信号来源于self-teacher网络：

\( L_{f\_logit}((x_{i},x_{j}),\tilde{x}_{ij})=L_{KL}(\sigma(\tilde{f}(x_{i},x_{j})/T),\sigma(h(\tilde{x}_{ij})/T))+L_{KL}(\sigma(f(\tilde{x}_{ij})/T),\sigma(h(x_{i},x_{j})/T)). \)

4 整体误差

将上述误差联合起来作为一个整体误差进行端到端的优化：

\( L_{MixSKD}=\underbrace{L_{cls\_mixup}}_{task\ loss}+\underbrace{\beta L_{feature}+\gamma L_{dis}}_{feature\ Self-KD} +\mu(\underbrace{L_{b\_logit}+L_{cls\_h}+L_{f\_logit}}_{logit\ Self-KD}). \)

MixSKD的整体示意图如图2所示。本方法引导网络在隐层特征和概率分布空间具有线性决策行为。从Occam剃刀原理上讲，线性是一个最直接的行为，因此是一个较好的归纳偏置。此外，线性行为可以在预测离群点时减少震荡。