Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality

监督微调（SFT）是使大型语言模型（LLMs）与人类指令和价值观对齐的关键步骤，但SFT的许多方面仍然知之甚少。我们对一系列基础模型进行了训练，使用了包括代码生成、数学推理和通用领域任务在内的多种数据集，在受控条件下生成了1000多个SFT模型。随后，我们确定了最重要的数据集特性，并分析了SFT引入的逐层修改。我们的研究发现表明，某些训练任务之间的协同效应在所有模型中都保持一致，而另一些则存在显著差异，这突显了采用模型特定策略的重要性。此外，我们证明了困惑度（perplexity）能够一贯预测SFT的效果——通常超越训练数据与基准测试之间表面相似性的预测能力——并且中间层权重的变化与性能提升的相关性最强。我们将发布这1000多个SFT模型及其基准测试结果，以推动进一步的研究进展。

论文试图解决如何通过监督微调（SFT）更有效地对大语言模型进行指令对齐和性能优化的问题。这是一个重要的研究问题，但尚未完全理解哪些因素对SFT的效果影响最大。

论文的关键思路是系统性地研究不同数据集属性和模型层权重变化对SFT效果的影响。与现有研究相比，该论文不仅关注任务类型和数据相似性，还提出了使用困惑度作为预测SFT效果的指标，并发现中层权重的变化与性能提升高度相关，这为未来的研究提供了具体的量化依据。

实验设计涵盖了1000多个SFT模型，涉及代码生成、数学推理和通用领域任务等多样化数据集。研究表明，训练任务之间的协同作用因模型而异，强调了定制化策略的重要性。此外，作者计划开源所有SFT模型和基准测试结果，为社区提供宝贵的资源。值得进一步研究的方向包括探索更复杂的任务协同机制以及改进中层权重调整的方法。

最近的相关研究包括：1)《Fine-Tuning Language Models from Human Preferences》探讨了基于人类偏好的微调方法；2)《Dataset Condensation for Large-Scale Language Models》研究了如何通过数据浓缩优化微调过程；3)《Layer-wise Adaptation in Transfer Learning》分析了迁移学习中各层适应性的差异。这些工作共同推动了对SFT机制的深入理解。