Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application

大型语言模型（LLMs）在各个领域展示了出色的能力，吸引了学术界和工业界的重要关注。尽管它们表现出色，但LLMs的巨大大小和计算要求对实际部署提出了相当大的挑战，特别是在资源有限的环境中。压缩语言模型同时保持其准确性的努力已经成为研究的重点。在各种方法中，知识蒸馏已经成为一种有效的技术，可以提高推理速度而不会过多地影响性能。本文从方法、评估和应用三个方面对专门针对LLMs的知识蒸馏技术进行了全面调查。具体来说，我们将方法分为白盒知识蒸馏和黑盒知识蒸馏，以更好地阐明它们之间的区别。此外，我们还探讨了不同蒸馏方法之间的评估任务和蒸馏效果，并提出了未来研究的方向。通过深入了解最新的进展和实际应用，本调查为研究人员提供了有价值的资源，为该领域的持续进展铺平了道路。

本论文旨在解决大型语言模型的大小和计算需求对于实际部署的挑战，并探讨知识蒸馏技术在提高推理速度方面的有效性。

本论文提出使用知识蒸馏技术来压缩大型语言模型，同时保持其准确性。具体将方法分为白盒和黑盒知识蒸馏，并探讨了不同蒸馏方法之间的评估任务和蒸馏效果。

论文提供了对最新进展和实际应用的深入了解，为研究人员提供了有价值的资源，并为这一领域的持续进步铺平了道路。

在这个领域中，最近还有其他相关的研究，如《Distilling Task-Specific Knowledge from BERT into Simple Neural Networks》、《TinyBERT: Distilling BERT for Natural Language Understanding》等。