Reasoning to Learn from Latent Thoughts

语言模型（LM）的计算扩展在人类书写的文本增长速度之上，引发了对数据可能成为 LM 扩展瓶颈的担忧。为了在这种数据受限的情况下继续扩展预训练，我们提出，显式建模并推断文本生成过程背后的潜在思维可以显著提高预训练的数据效率。直观来说，我们的方法将网络文本视为冗长的人类思维过程的压缩最终结果，而这些潜在思维包含了对数据高效学习至关重要的上下文知识和推理步骤。我们通过数学领域的数据受限持续预训练实证展示了该方法的有效性。 首先，我们证明了用于推断潜在思维的合成数据方法可以显著提高数据效率，并且优于在相同量的原始数据上进行训练（在 MATH 数据集上从 5.7% 提高到 25.4%）。此外，我们展示了在没有强大教师模型的情况下如何推断潜在思维，其中语言模型通过使用期望最大化（EM）算法迭代改进自身性能和思维增强预训练数据的质量。我们证明了一个参数量为 10 亿的语言模型可以通过至少三次迭代来提升其性能，并显著优于在原始数据上训练的基线模型。在执行 E 步骤时，额外的推理计算资源能够带来更大的收益。推理扩展和 EM 迭代所带来的提升表明，在数据受限的情况下，预训练扩展存在新的机会。

该论文试图解决在数据受限环境下，大规模语言模型（LM）预训练的效率问题。随着计算能力的增长，高质量的人类生成文本数据可能成为限制LM进一步扩展的主要瓶颈。这是一个新兴但重要的问题，因为随着模型规模的扩大，数据稀缺性的问题变得越来越突出。

论文提出了一种通过显式建模和推断潜在思想（latent thoughts）来提高预训练数据效率的方法。具体来说，它将网络文本视为人类思维过程的压缩结果，并假设潜在思想中包含关键的上下文知识和推理步骤。与直接使用原始数据相比，这种方法显著提高了数据效率。此外，论文还引入了基于EM算法的自引导方法，使模型能够通过迭代改进其性能和生成的潜在思想数据。

1. 在数学任务上验证了合成数据方法的有效性，显著提升了数据效率（从5.7%提升到25.4%）。2. 提出了无需强大教师模型的EM算法框架，允许较小规模模型（如1B参数）通过多次迭代逐步提升性能。3. 实验展示了额外的推理计算资源如何进一步增强效果，为未来研究提供了新方向。4. 论文未明确提及代码开源情况，但实验设计详尽，涵盖了不同数据量和模型规模的对比分析。值得深入研究的方向包括：潜在思想的具体表示形式、更高效的EM算法实现以及跨领域的适用性。

近期相关研究包括：1. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models' - 探索了通过提示链生成推理步骤以提高模型性能。2. 'Synthetic Data for Text Generation: Approaches, Applications and Challenges' - 深入讨论了合成数据在文本生成中的应用。3. 'Data-Efficient Pretraining via Contrastive Learning' - 研究了对比学习在减少预训练数据需求方面的潜力。4. 'Bootstrapping Language Models with Self-Supervised Learning' - 提出了利用自监督学习进行模型自引导的方法。