Instruction Tuning With Loss Over Instructions

指令调整在塑造语言模型（LMs）的输出风格方面起着至关重要的作用。在本文中，我们提出了一种简单而有效的方法，称为指令建模（IM），它通过将损失函数应用于指令和提示部分而不仅仅是输出部分来训练LMs。通过在21个不同基准测试中的实验，我们展示了在许多场景中，IM可以有效地提高LMs在自然语言处理任务（如MMLU，TruthfulQA和HumanEval）和开放式生成基准测试（如MT-Bench和AlpacaEval）上的性能。值得注意的是，在最有利的情况下，IM将AlpacaEval 1.0上的模型性能提高了100％以上。我们确定了影响IM有效性的两个关键因素：（1）训练数据中指令长度和输出长度之比；（2）训练示例的数量。我们观察到，当使用具有冗长指令和简短输出的数据集进行训练，或在使用少量训练示例进行指令调整的表面对齐假设（SAH）下进行训练时，IM尤其有益。进一步的分析证实了我们的假设，即改进可以归因于减少对指令调整数据集的过度拟合。我们的工作为指令调整LMs提供了实用的指导，特别是在低资源情况下。

本论文旨在解决指令调整对于语言模型性能的影响问题，提出了Instruction Modelling (IM)方法，通过对指令和提示部分应用损失函数来训练语言模型，以期望达到所需的风格。

IM方法通过对指令和提示部分应用损失函数来训练语言模型，以期望达到所需的风格。在21个不同的基准测试中进行实验，结果表明IM方法在许多情况下都可以有效地提高语言模型的性能，特别是在训练数据中指令长度较长，输出长度较短或使用少量的训练数据进行指令调整时，IM方法的效果尤为显著。

本论文的亮点在于提出了IM方法，这是一种简单而有效的方法，可以帮助语言模型在指令调整方面取得更好的性能。实验结果表明，在某些情况下，IM方法可以将语言模型在各种基准测试中的性能提高超过100%。论文还提出了两个影响IM方法效果的关键因素：训练数据中指令长度与输出长度的比例以及训练样本的数量。此外，论文还对IM方法的改进进行了深入的分析和讨论。

在这个领域中，还有一些相关的研究，例如《Fine-Tuning Language Models from Human Preferences》、《Controllable Neural Text Generation》等。