报告主题：ICML 2026最佳论文提名｜岭回归中的可证明Grokking现象

报告日期：7月22日（周三） 10:30-11:30
报告要点：
Grokking现象是指模型过拟合训练数据很久后才突然泛化，其理论机制至今缺乏严格解释。智源Talk 368期邀请了普渡大学徐铭悦线上分享，工作获得ICML 2026最佳论文提名。针对带权重衰减的过参数化线性回归，首次建立了完整可证明的grokking理论，揭示了过拟合—延迟—泛化的三阶段演化，并用超参数给出"grokking time"的严格定量界，实验表明该理论可定性刻画非线性神经网络的grokking行为。论文链接：https://arxiv.org/abs/2601.19791v1

议题详情：

我们在经典的岭回归设定中研究grokking现象，即模型在已经过拟合训练数据很久之后才突然出现泛化能力的现象。我们针对使用带权重衰减的梯度下降来学习过参数化线性回归模型，给出了完整可证明的grokking理论。具体而言，我们证明训练过程中会依次出现以下阶段：1. 模型在训练早期过拟合训练数据；2. 在过拟合已经发生之后，较差的泛化性能仍会持续很长时间；3. 最终，泛化误差会变得很小。此外，我们从理论和实验两方面表明，通过适当调节超参数，可以增强或削弱甚至消除grokking现象。我们首次用训练超参数刻画grokking泛化延迟时间的严格定量界；我们将这一延迟称为 "grokking time"。最后，超越线性模型设定，我们通过实验展示了这些定量界同样能够定性地刻画非线性神经网络中的grokking行为。

报告嘉宾：

徐铭悦，普渡大学计算机系博士生，主要研究方向是统计学习和深度学习理论，以及他们对现代人工智能的解释，获ICML 2026 Outstanding Paper Honorable Mention。
 
电脑端观看地址



更多热门活动：

内容中包含的图片若涉及版权问题，请及时与我们联系删除