Towards a theory of model distillation

蒸馏是将复杂的机器学习模型替换为近似原模型的简单模型的任务[BCNM06，HVD15]。尽管有许多实际应用，但关于模型可以被蒸馏到什么程度以及需要多长时间和多少数据才能进行蒸馏的基本问题仍然是开放的。为了研究这些问题，我们启动了一个关于蒸馏的一般理论，类比于PAC学习[Val84]，定义了PAC蒸馏。作为这个理论的应用：（1）我们提出了新的算法来提取神经网络中训练权重中存储的知识，我们展示了如何使用“线性表示假设”在可能的情况下有效地将神经网络蒸馏成简洁的、明确的决策树表示；（2）我们证明了蒸馏可以比从头开始学习更便宜，并在表征其复杂性方面取得了进展。

解决问题：论文试图解决什么问题，或者验证什么假设？这是否是一个新问题？

关键思路：论文中解决问题的方案关键思路是什么？相比当前这个领域的研究状况，这篇论文的思路有什么新意？

其他亮点：论文提出了PAC-distillation理论，定义了模型蒸馏的概念，并提出了新算法来提取神经网络中的知识，证明了蒸馏可以比从头开始学习更便宜，并在复杂性方面取得了进展。

相关研究：在这个领域中，最近的相关研究包括《Learning both Weights and Connections for Efficient Neural Networks》、《Net2Net: Accelerating Learning via Knowledge Transfer》等。