Evaluating Language Models as Synthetic Data Generators

鉴于合成数据在语言模型（LM）后训练中的使用日益增多，语言模型生成高质量数据的能力变得几乎与直接解决问题的能力一样重要。尽管先前的研究主要集中在开发有效的数据生成方法上，但它们缺乏在统一环境中对不同语言模型作为数据生成器的系统性比较。为了解决这一差距，我们提出了AgoraBench，这是一个提供标准化设置和指标来评估语言模型数据生成能力的基准测试。通过使用6个语言模型合成126万个训练实例并训练99个学生模型，我们揭示了关于语言模型数据生成能力的关键见解。首先，我们观察到语言模型表现出不同的优势。例如，GPT-4在生成新问题方面表现出色，而Claude-3.5-Sonnet在增强现有问题方面表现更好。此外，我们的分析表明，语言模型的数据生成能力并不一定与其解决问题的能力相关。相反，数据质量的多个内在特征——包括响应质量、困惑度和指令难度——共同作为更好的指标。最后，我们证明了在输出格式上的战略性选择和成本意识的模型选择对数据生成效果有显著影响。

该论文旨在系统地评估不同语言模型（LMs）在生成合成数据方面的能力。尽管已有研究开发了有效的数据生成方法，但缺乏对不同LMs作为数据生成器的系统性比较。

论文提出了AgoraBench，这是一个标准化的基准测试框架，用于评估语言模型的数据生成能力。通过使用6个不同的LMs生成126万个训练实例，并训练99个学生模型，研究者们能够系统地分析和比较这些模型在数据生成方面的表现。这一方法不仅填补了现有研究的空白，还为未来的研究提供了统一的评估标准。

1. 研究发现不同LMs在数据生成任务上表现出不同的优势，例如GPT-4o在生成新问题上表现优异，而Claude-3.5-Sonnet在增强现有问题上更胜一筹。 2. 数据生成能力与问题解决能力之间没有必然的关联，而是多个内在特征如响应质量、困惑度和指令难度的综合指标更为重要。 3. 实验设计严谨，使用了大规模的数据集和多种模型，确保了结果的可靠性和可重复性。 4. 论文强调了输出格式的选择和成本效益在数据生成中的重要性，为实际应用提供了指导。

1. "Evaluating Large Language Models Trained on Code" - 这篇论文探讨了大规模语言模型在代码生成任务上的表现。 2. "Synthetic Data Generation for Deep Learning: A Survey" - 该综述文章全面总结了合成数据生成技术及其在深度学习中的应用。 3. "Benchmarking Neural Network Robustness to Common Corruptions and Perturbations" - 这篇论文提出了一种基准测试方法，用于评估神经网络对常见干扰和扰动的鲁棒性。 4. "On the Effectiveness of Synthetic Data for Pre-training in Natural Language Processing" - 该研究探讨了合成数据在自然语言处理预训练中的有效性。