Quiet Feature Learning in Algorithmic Tasks

我们在十个基础算法任务上训练了基于 Transformer 的语言模型，并观察到其损失曲线中存在显著的相变现象，这种现象偏离了已建立的幂律缩放趋势。在大范围的计算资源下，验证损失几乎没有任何改善，然后突然下降。通过分析模型的内部表示，我们发现，在停滞阶段，模型学习到了一些较为隐蔽的特征；随后，那些与性能大幅提升相关的明显特征被迅速习得，这与损失的急剧下降同步发生。我们的消融实验表明，破坏任何一个已学习到的特征都可能显著降低模型性能，这为这些特征在任务表现中的因果作用提供了证据。这些研究结果挑战了当前普遍存在的假设，即下一个标记预测损失能够可靠地反映渐进式的进步；实际上，关键的内部特征可能一直在表面之下发展，直到它们汇聚在一起，从而引发性能的快速提升。

该论文试图研究Transformer语言模型在算法任务中的学习动态，特别是验证其是否存在不同于传统幂律缩放趋势的学习阶段。这是一个新颖的问题，因为它挑战了当前关于模型性能与预测损失之间关系的假设。

论文的关键思路是通过观察模型在不同计算资源下的验证损失曲线，发现了一种‘相变’现象：即模型在长时间内表现停滞，然后突然出现性能大幅提升。进一步分析表明，这种现象与模型内部特征的学习顺序有关——先学习‘安静’特征，再学习‘响亮’特征。相比现有研究，这篇论文揭示了表面损失曲线无法反映模型内部复杂学习过程的现象。

1. 提出了‘安静特征’和‘响亮特征’的概念，并通过实验验证了它们对任务性能的因果作用；2. 使用了十个基础算法任务进行训练和测试，提供了丰富的实验设计；3. 没有提到是否开源代码，但其方法论值得进一步探索，例如如何量化特征的重要性以及如何优化模型以减少停滞期；4. 值得深入研究的方向包括：如何主动引导模型优先学习‘响亮特征’，以及如何将这些发现应用于更大规模的语言模型。

近期相关研究包括：1. 'The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks'，探讨了神经网络中稀疏子网络的重要性；2. 'Scaling Laws for Neural Language Models'，研究了模型规模与性能之间的关系；3. 'Emergent Properties in Large-Scale Language Modeling'，讨论了大规模语言模型中涌现的特性；4. 'Probing Neural Network Comprehension of Natural Language'，研究了模型内部表示的学习过程。