深度学习和“经典”统计学之间的关系是什么？哈佛大学教授、理论计算科学家Boaz Barak的这篇撰文，提供了非常有益的探讨，摘录要点如下：

一种经常表达的观点是，深度学习（以及一般的机器学习）是“简单的统计”，因为它使用不同的词来描述统计学家几十年来一直在研究的相同概念。在 1990 年代，Rob Tibshirani 写了以下诙谐的“词汇表”：


这张表的某些东西引起了我的共鸣。事实上，任何使用 Pytorch 的人都知道，自从 Tibshiriani 发布此表以来，右边的许多术语在机器学习社区中得到了更广泛的使用。 （我确实希望统计学家的资助和会议也有所改善……）

但是纯粹从统计学角度考虑深度学习却忽略了其成功的关键方面。对深度学习的一个更好的批评是它使用统计术语来描述完全不同的概念。在表情包中，右边的“Princess Bride” 表情包比左边的 Sandserif 的更能批判深度学习。

这篇博文：组织。在这篇文章中，我解释了这个观点，以及为什么深度学习的一些最基本的方面从根本上偏离了统计学，甚至偏离了经典的机器学习。在这篇有点长的文章中，我将首先讨论在将模型拟合到数据时解释和预测之间的区别。然后，我将讨论学习过程的两个“卡通”：使用经验风险最小化拟合统计模型，以及向（人类）学生教授数学技能。然后，我将讨论这些过程中的哪一个更接近深度学习。剧透：虽然深度学习的数学和代码与第一个场景几乎相同（拟合统计模型），但我声称在更深层次上，深度学习的一些大部分方面都可以通过“向学生传授技能”场景捕获.我并不声称拥有完整的深度学习理论。事实上，我强烈怀疑这样的理论不存在。相反，我相信深度学习的不同方面最好从不同的角度来理解，而统计的角度无法提供完整的画面。

详细内容请阅读原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除