Machine Learning vs Deep Learning: The Generalization Problem

这篇论文探讨了机器学习和深度学习算法在外推方面的比较能力，外推是泛化的一个更具挑战性的方面，因为它要求模型对超出其训练域的数据点进行推断。我们进行了实证分析，其中机器学习和深度学习模型都是在指数增长函数上进行训练，然后在训练域之外的值上进行测试。这个函数的选择使我们能够清楚地展示模型在需要预测超出其训练数据范围时性能的差异。我们的研究结果表明，深度学习模型具有超越训练范围的内在能力，这是现实世界应用中的关键特性，因为数据通常是不完整的或超出观察范围的。本文主张对机器学习和深度学习模型之间的结构差异进行细致的理解，强调其对理论研究和实际部署的影响。

比较传统机器学习模型和深度学习算法在推广能力方面的能力，以验证深度学习模型的实用性和鲁棒性。

通过对指数增长函数进行训练和测试，比较机器学习模型和深度学习模型在推广能力方面的表现，发现深度学习模型具有更强的推广能力。

实验结果表明，深度学习模型具有更强的推广能力，这是实际应用中的重要特性。此外，本文强调了机器学习模型和深度学习模型的结构差异，对理论研究和实际应用都有重要意义。

最近的相关研究包括：《A Survey on Deep Learning: Algorithms, Techniques, and Applications》、《A Comparative Study of Deep Learning and Machine Learning》等。