Task Integration Distillation for Object Detectors

知识蒸馏是一种广泛采用的模型轻量化技术。然而，大多数知识蒸馏方法在目标检测领域的表现并不令人满意。通常，知识蒸馏方法只考虑目标检测器的两个子任务中的分类任务，而很大程度上忽视了回归任务。这种疏忽导致对目标检测器全面任务的理解不完整，从而产生了偏斜的估计和潜在的负面影响。因此，我们提出了一种知识蒸馏方法，旨在解决分类和回归任务，同时结合任务重要性策略。通过基于检测器的两个子任务的输出评估特征的重要性，我们的方法确保在目标检测中平衡考虑分类和回归任务。受现实世界教学过程和学习条件定义的启示，我们引入了一种专注于关键和薄弱领域的方法。通过评估特征的价值，以知识蒸馏为基础，根据它们的重要性差异，我们准确地捕捉当前模型的学习情况。这种方法有效地防止了由于未完全利用检测器的输出而导致的对模型学习实际情况的偏见预测问题。

如何在目标检测中使用知识蒸馏技术提高模型性能？

提出了一种考虑分类和回归任务的知识蒸馏方法，通过任务重要性策略确保对分类和回归任务的平衡考虑。

该方法可以防止因为只考虑分类任务而忽略回归任务导致的模型性能下降。实验结果表明，该方法在多个数据集上均能提升目标检测模型的性能。

近期的相关研究包括基于知识蒸馏的模型压缩方法和目标检测中的其他模型优化方法，如注意力机制和网络剪枝等。