🆘 一句话总结：合成数据的分布和真实数据有较大差别，比较单一，容易引起pattern overfitting，使得训练后模型输出分布变化 \x0a\x0a🎉动机：现有的研究主要证明了合成数据的有效性，缺乏它对与模型遵循能力的影响研究，作者观测到合成数据pretrain的模型有较大遵循能力的下降 =\x26gt; 提出了一种unlearning方法，缓解合成数据带来的问题 \x0a\x0a📊 分析实验结论： \x0a1. 合成数据和真实数据的分布不同： \x0a - 图2: 对合成数据和真实数据进行编码+可视化，发现两种数据的分布存在差距 \x0a - 图3: 统计了token分布，发现在合成数据中question、answer、summary这类token频繁出现，会导致重复pattern \x0a2. 使用合成数据训练会导致pattern overfitting \x0a - 虽然基座模型提升了，但走到SFT阶段，发现加了2%合成数据训的模型在SFT后效果会变差 \x0a - 图4: 计算训练后模型在开源混合数据上的ppl，发现合成模型训的模型的低ppl数据更多，说明过拟合了某些pattern \x0a\x0a🚗 Unlearning方法：\x0a 图5: 提出了三种loss，主要思想是丢掉过拟合的合成数据、重复过之前的真实数据、和真实数据训练的模型拉近KL散度
评论
沙发等你来抢