本文分享一篇Boosting一类算法的早期核心论文解读，是GBDT等算法的奠基性文章。很多同学都读过xgboost和lightgbm的论文，却很可能忽略了这篇发表在2001年、引用量高达12132的核心文章：Greedy Function Approximation: A Gradient Boosting Machine 。

函数估计(Function Estimation/Approximation)是对函数空间(Function Space)进行数值优化，而不是对参数空间(Paramter Space)进行优化。这篇论文提出的Gradient Boosting Machine算法将stagewise additive expansions(分步加和扩展)和steepest-descent minimization(最速下降极小化，也就是梯度下降法)结合起来实现对函数空间的数值优化，可以适用于回归和分类问题，具有完整性好，鲁棒性强，解释性好等优点。

感兴趣的可以戳原文阅读该论文的解读。

内容中包含的图片若涉及版权问题，请及时与我们联系删除