Initializing Models with Larger Ones

权重初始化在神经网络训练中起着重要作用。已经提出并评估了广泛使用的初始化方法，用于从头开始训练的网络。然而，越来越多的预训练模型现在为解决这个经典的权重初始化问题提供了新的机会。在这项工作中，我们介绍了权重选择，这是一种通过从预训练的较大模型中选择子集来初始化较小模型的方法。这使得可以将预训练权重的知识转移到较小的模型中。我们的实验表明，权重选择可以显著提高小模型的性能并减少它们的训练时间。值得注意的是，它还可以与知识蒸馏一起使用。权重选择为在资源受限的环境中利用预训练模型的能力提供了一种新的方法，我们希望它能成为在大模型时代训练小模型的有用工具。代码可在https://github.com/OscarXZQ/weight-selection上找到。

解决问题：论文尝试通过权重选择方法，将预训练模型的知识转移到小模型中，以解决小模型初始化时的问题，提高小模型的性能和减少训练时间。

关键思路：通过权重选择方法，将预训练模型中的一部分权重选择出来，用于初始化小模型，从而使小模型获得预训练模型的知识。

其他亮点：论文的实验表明，权重选择方法可以显著提高小模型的性能并减少训练时间，还可以与知识蒸馏方法一起使用。代码已经开源，可在GitHub上获取。该方法为在资源受限的情况下训练小模型提供了新的思路。

相关研究：目前已有一些研究探讨如何在小模型中使用预训练模型的知识，例如《Distilling the Knowledge in a Neural Network》。另外，还有一些研究探讨如何初始化神经网络权重，例如《Understanding the difficulty of training deep feedforward neural networks》。