NeuralGrok: Accelerate Grokking by Neural Gradient Transformation

拟合现象（Grokking）被提出并广泛研究，这是一种复杂的机制，在经过长时间的过拟合后实现泛化。在本工作中，我们提出了 NeuralGrok，一种基于梯度的新方法，通过学习最优的梯度变换来加速 Transformer 在算术任务中的泛化能力。具体而言，NeuralGrok 在基础模型中联合训练一个辅助模块（例如一个多层感知机块）。该模块根据梯度分量对泛化的贡献动态调整其影响，这一过程由双层优化算法引导。我们的大量实验表明，NeuralGrok 显著加速了泛化，尤其是在具有挑战性的算术任务中。此外，我们还发现 NeuralGrok 推动了一种更稳定的训练范式，持续降低模型复杂度，而传统的正则化方法（如权重衰减）可能会引入显著的不稳定性，并阻碍泛化能力。我们进一步通过一种新颖的绝对梯度熵（Absolute Gradient Entropy, AGE）指标研究了模型内在复杂性，揭示了 NeuralGrok 通过降低模型复杂性有效促进了泛化。我们的研究为 Transformer 模型的拟合现象提供了宝贵的见解，推动了对泛化能力基本原理的深入理解。

论文试图解决Transformer模型在算术任务中的一般化（generalization）速度问题，尤其是探讨如何加速从过拟合到一般化的转变（即grokking现象）。这是一个相对较新的问题，因为grokking现象本身是近年来才被广泛关注的。

论文提出了一种名为NeuralGrok的方法，通过训练一个辅助模块（如MLP块）来动态调整梯度分量的影响，从而加速Transformer模型的一般化。这种方法基于双层优化算法，能够根据梯度对一般化的贡献动态地调节其影响，与传统正则化方法不同，NeuralGrok能够更稳定地减少模型复杂度。

1. 提出了Absolute Gradient Entropy (AGE) 指标，用于量化模型复杂度并解释NeuralGrok如何促进一般化；2. 在多种算术任务上验证了NeuralGrok的有效性，并展示了其比传统方法更稳定的训练过程；3. 开源代码和实验数据尚未明确提及，但论文提供了丰富的实验设计细节，包括使用合成算术数据集；4. 值得进一步研究的方向包括将NeuralGrok扩展到其他领域（如自然语言处理或计算机视觉），以及深入分析AGE指标的理论基础。

最近的相关研究包括：1. 'The Grokking Dynamics of Transformer Models' 探讨了Transformer模型中的grokking现象及其动态特性；2. 'Understanding Deep Learning Requires Rethinking Generalization' 提出了关于深度学习一般化能力的新见解；3. 'On the Emergence of Overfitting in the Training of Neural Networks' 研究了神经网络训练过程中过拟合的出现条件。这些研究共同推动了对grokking现象及一般化机制的理解。