Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs

突然出现的现代机器学习现象，如双峰下降和良性过拟合，可能会让许多受过经典训练的统计学家感到不安——这些现象似乎与任何学习数据的入门课程所传达的统计直觉相违背。通常将早期未观察到这种现象的历史归因于今天对更复杂的机器学习方法、过度参数化、插值和/或更高的数据维度的依赖。在本文中，我们展示了为什么我们今天观察到与古典统计学教科书所教直觉相违背的行为的另一个原因，这个原因更容易理解，但很少明确讨论。特别是，许多直觉源于固定设计设置，在这种设置中，感兴趣的是样本内预测误差（在噪声结果的重新采样下），而现代机器学习则根据泛化误差来评估其预测，即在随机设计中的样本外预测误差。在这里，我们强调，从固定到随机设计的这个简单转变对于与偏差-方差权衡有关的教科书直觉有（也许令人惊讶的）深远影响，并评论了在固定与随机设计中观察双峰下降和良性过拟合的（不）可能性。

解决问题：本文试图解释为什么现代机器学习中出现了双峰下降和良性过拟合这样的现象，而这些现象似乎与传统统计学习理论相悖。作者认为这是由于现代机器学习从固定设计转向随机设计，导致传统的偏差-方差均衡理论不再适用。

关键思路：现代机器学习中采用的是随机设计，而不是传统的固定设计，这种转变导致了传统统计学习理论的偏差-方差均衡理论不再适用，从而解释了双峰下降和良性过拟合等现象的出现。

亮点：本文通过理论分析和实验验证，阐明了现代机器学习中随机设计对于偏差-方差均衡理论的影响，从而解释了双峰下降和良性过拟合等现象的出现。实验使用了多个数据集，并提供了开源代码。本文的思路对于理解现代机器学习中的现象具有重要意义，也为未来的研究提供了新的思路。

相关研究：最近的相关研究包括“Understanding deep learning requires rethinking generalization”（Zhang等人，2017）和“Reconciling modern machine learning practice and the bias-variance trade-off”（Belkin等人，2019）。