How to Synthesize Text Data without Model Collapse?

合成数据中的模型崩溃表明，在自动生成的数据上进行迭代训练会导致性能逐渐下降。随着人工智能模型的普及，合成数据将从根本上重塑网络数据生态系统。未来的GPT系列模型不可避免地会在合成数据和人类生成的数据混合体上进行训练。在本文中，我们关注两个问题：合成数据对语言模型训练的影响是什么，以及如何在不发生模型崩溃的情况下合成数据？我们首先在不同比例的合成数据上预训练语言模型，揭示了合成数据的比例与模型性能之间的负相关关系。我们进一步对合成数据进行统计分析，发现了分布偏移现象和n-gram特征的过度集中。受上述发现的启发，我们提出对人类生成的数据进行标记编辑以获得半合成数据。作为概念验证，我们从理论上证明了标记级别的编辑可以防止模型崩溃，因为测试误差被限制在一个有限的上限内。我们在从头开始预训练、持续预训练和监督微调方面进行了广泛的实验。结果验证了我们的理论证明，即标记级别的编辑可以提高数据质量并增强模型性能。

该论文试图解决在语言模型训练中使用合成数据时出现的模型崩溃问题，并验证合成数据对语言模型性能的影响。这是一个新兴的问题，因为随着AI模型的发展，合成数据在训练中的使用越来越普遍。

关键思路是通过分析不同比例的合成数据对模型性能的影响，揭示了合成数据与模型性能之间的负相关关系。为了解决模型崩溃问题，提出了一种基于人类生成数据的token级编辑方法来创建半合成数据。相比现有研究，这种方法提供了一种新颖且有效的防止模型崩溃的方法，同时保持了数据的质量和多样性。

论文通过广泛的实验验证了token级编辑的有效性，包括从头开始预训练、持续预训练和监督微调。实验设计严谨，涵盖了多种训练场景。作者还进行了统计分析，发现了合成数据中的分布偏移和n-gram特征过度集中现象。此外，论文提供了理论证明，表明token级编辑可以防止模型崩溃，并将测试误差限制在一个有限的上限内。虽然论文没有提及开源代码，但其提出的概念和方法值得进一步研究。

最近在这个领域中，相关的研究还包括：1.《Understanding and Mitigating the Trade-offs in Synthetic Data Generation》探讨了合成数据生成中的权衡；2.《Improving Language Models with Unsupervised Data Augmentation》研究了无监督数据增强对语言模型的影响；3.《Synthetic Data for Text De-identification》关注了用于文本去识别的合成数据生成。这些研究共同推动了合成数据在自然语言处理中的应用和发展。