Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation

知识蒸馏是一种从教师模型向学生模型转移知识的强大技术，可用于压缩模型或简化训练目标。知识蒸馏包括两种主要方法：句子级蒸馏和标记级蒸馏。在句子级蒸馏中，学生模型被训练以与教师模型的输出对齐，可以减轻训练难度并使学生模型对全局结构有全面的理解。相反，标记级蒸馏要求学生模型学习教师模型的输出分布，促进更细粒度的知识转移。研究表明，在不同的场景下，句子级和标记级蒸馏之间存在差异的表现，导致在实证选择知识蒸馏方法时存在困惑。在本研究中，我们认为标记级蒸馏，由于其更复杂的目标（即分布），更适用于“简单”场景，而句子级蒸馏则在“复杂”场景中表现出色。为了证实我们的假设，我们通过改变学生模型的模型大小、文本的复杂度和解码过程的难度，系统地分析了蒸馏方法的性能。虽然我们的实验结果验证了我们的假设，但确定给定场景的复杂度级别仍然是一项具有挑战性的任务。因此，我们进一步介绍了一种新的混合方法，通过门控机制将标记级和句子级蒸馏相结合，旨在利用两种单独方法的优点。实验证明，混合方法的性能超过了标记级或句子级蒸馏方法以及以前的研究，证明了所提出的混合方法的有效性。

论文旨在解决知识蒸馏方法的选择问题，即在不同场景下，应该选择哪种知识蒸馏方法来进行神经机器翻译的模型压缩或训练简化。

论文提出了一个假设，即token-level知识蒸馏更适用于简单场景，而sentence-level知识蒸馏更适用于复杂场景。为了验证这一假设，论文设计了实验，并提出了一种新的混合方法，通过门控机制结合了两种方法的优点。

论文通过实验验证了假设，提出的混合方法在性能上优于单独使用token-level或sentence-level知识蒸馏方法以及之前的工作。论文还介绍了实验设计、使用的数据集和开源代码等细节。

最近的相关研究包括《Distilling Task-Specific Knowledge from BERT into Simple Neural Networks》、《TinyBERT: Distilling BERT for Natural Language Understanding》等。