贝叶斯优化是AutoML中的重要概念，近年来变得很火热。作为一种重要的基于先验的调参/策略选择技术，贝叶斯的应用范围也很广。但这个概念对于初次接触的同学可能较难理解，经过数天的论文研读、博客/教程/代码查阅，我总结了这篇科普文，也手绘了一些示意图，希望尽量在一篇文章内、通俗易懂地讲清楚什么是贝叶斯优化。
本文目录：
-
理清基本概念的关系 -
各种超参数调节方法的对比 -
Grid Search & Random Search -
贝叶斯优化/SMBO的基本流程 -
SMBO -
对历史观测进行建模 -
Acquisition function / Expected Improvement (EI) -
不同的概率分布建模策略 -
① 基于GPR的贝叶斯优化 -
② 基于TPE的贝叶斯优化 -
GPR vs. TPE -
总结
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢