A Comprehensive Review of Knowledge Distillation in Computer Vision

最近几年，深度学习技术已经被证明超越了之前的先进机器学习技术，计算机视觉是其中最为突出的例子之一。然而，由于深度学习模型具有较大的模型大小和高复杂度，因此在资源受限的环境中部署时存在显著缺陷。知识蒸馏是克服这一挑战的显著解决方案之一。本综述论文研究了知识蒸馏的研究现状，这是一种将复杂模型压缩为更小更简单的模型的技术。本文概述了知识蒸馏的主要原则和技术，并回顾了知识蒸馏在计算机视觉领域的应用。本综述重点关注知识蒸馏的优点，以及需要克服的问题以提高其有效性。

知识蒸馏技术用于在小型设备上部署深度学习模型时的压缩问题。

将复杂的模型蒸馏成更小、更简单的模型，同时保留其性能。

论文提供了知识蒸馏的概述，重点介绍了在计算机视觉领域中的应用。实验使用了多个数据集，并开源了代码。此外，论文还讨论了知识蒸馏的局限性和未来研究方向。

相关研究包括：《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》、《Learning both Weights and Connections for Efficient Neural Networks》、《FitNets: Hints for Thin Deep Nets》等。