Deep Feature Surgery: Towards Accurate and Efficient Multi-Exit Networks

多出口网络是一种有前途的架构，通过在多个出口之间共享骨干网络和权重来实现高效的模型推断。然而，共享权重的梯度冲突会导致次优的准确性。本文介绍了深度特征手术（\methodname），它包括特征分区和特征参考方法，以解决多出口网络训练期间的梯度冲突问题。特征分区将所有出口之间的共享特征沿深度轴分离，以减轻梯度冲突，同时促进每个出口的联合优化。随后，特征参考增强了不同深度的多尺度特征，以提高模型的准确性。此外，\methodname~通过简化反向传播的复杂度，减少了训练操作。在Cifar100和ImageNet数据集上的实验结果表明，与各种模型和任务的基线方法相比，\methodname~提供了高达\textbf{50.00\%}的训练时间缩短和高达\textbf{6.94\%}的准确性提升。在MSDNet上进行的预算批量分类评估表明，DFS在Cifar100上使用约$\mathbf{2}\boldsymbol{\times}$更少的平均FLOPs每张图像来达到与基线方法相同的分类精度。

本论文旨在解决多出口网络中共享权重导致的梯度冲突问题，从而提高模型的准确性。

Deep Feature Surgery（DFS）是本文提出的解决方案，包括特征分割和特征引用两个步骤。特征分割将共享特征沿深度轴分割到所有出口中，以减轻梯度冲突，同时促进每个出口的联合优化。接着，特征引用增强了不同深度的多尺度特征，以提高模型的准确性。

本文实验结果表明，DFS相对于基线方法在不同模型和任务上可提供高达50.00％的训练时间缩短和高达6.94％的准确性提升。在Cifar100上，DFS使用约2倍较少的平均FLOPs每张图像，即可实现与基线方法相同的分类准确性。

在多出口网络方面的相关研究包括：Multi-Exit Architecture with Residual HyperBlocks、Learning Multiple Exit CNNs for Image Classification、Dynamic Multi-Exit Convolutional Neural Network等。