Phi-4 Technical Report

我们介绍了phi-4，这是一个拥有140亿参数的语言模型，其训练方法主要集中在数据质量上。与大多数语言模型不同，这些模型的预训练主要基于网页内容或代码等自然数据源，而phi-4在整个训练过程中战略性地融入了合成数据。虽然之前的Phi系列模型主要通过蒸馏教师模型（特别是GPT-4）的能力来提升性能，但phi-4在STEM领域的问答能力上显著超过了其教师模型，这表明我们的数据生成和后训练技术已经超出了简单的蒸馏。尽管对phi-3的架构进行了最小的改动，phi-4由于改进的数据、训练课程和后训练方案的创新，在与其规模相当的模型中表现出色，尤其是在以推理为中心的基准测试中。

phi-4试图通过提高数据质量和创新的训练方法来提升语言模型在STEM领域的问答能力，尤其是在推理方面。这并不是一个全新的问题，但该模型试图在已有基础上取得显著的进步。

phi-4的关键思路在于战略性地使用合成数据，并优化训练过程和后训练技术，以超越其教师模型GPT-4在特定任务上的表现。与传统的大量依赖自然数据源的预训练不同，phi-4强调高质量的数据生成和训练策略。

论文展示了phi-4在STEM领域问答能力上的显著提升，特别是在推理任务上。实验设计包括多个基准测试，使用了多种数据集，如MMLU、ARC等。此外，论文还提到了一些创新的后训练技术，这些技术有助于提高模型的泛化能力和性能。目前没有提到开源代码，但模型的训练方法和数据生成策略值得进一步研究。

最近在语言模型领域的一些相关研究包括：1)《Scaling Laws for Autoregressive and Memory-Augmented Language Models》探讨了大规模语言模型的扩展规律；2)《Improving Language Model Generalization with Data Augmentation》研究了数据增强对语言模型泛化能力的影响；3)《Beyond Scaling Laws: The Effect of Data Quality on Language Model Performance》分析了数据质量对模型性能的影响。