作为目前全球最负盛名的人工智能盛会之一，NeurIPS (Conference on Neural Information Processing Systems) 在每年年末都是计算机科学领域瞩目的焦点。被 NeurIPS 接收的论文，代表着当今神经科学和人工智能研究的最高水平。 本届大会共收到10411篇有效投稿，其中2672篇获接收，最终接收率为25.6%。相比去年，投稿数量继续增加。

NeurIPS 2022大会涵盖了众多最近研究Tutorial报告，来自Jana Doppa等学者共同做了关于贝叶斯优化的进展报告，非常值得关注!

许多工程、科学和工业应用，包括自动机器学习(如超参数调优)，都涉及到设计选择，以优化一个或多个评估目标所需的成本。一些例子包括调整编译器的旋钮以优化一组软件程序的性能和效率;设计新材料以优化强度、弹性和耐久性;设计硬件以优化性能、功率和面积。贝叶斯优化(BO)是一种解决黑盒优化问题的有效框架。BO背后的关键思想是使用真实的实验数据建立一个廉价的代理模型(例如，高斯过程);并利用它智能地选择功能评估的序列，使用一个获取函数，例如，预期改善(EI)。

Caption

贝叶斯优化。BO是一种利用概率代理模型(通常是高斯过程(GP) Rasmussen(2003))进行样本高效黑盒优化的方法，它是一种利用代理找到最有希望的候选对象进行下一步评估的获取函数。BO是一种迭代进行的顺序优化算法。在每次迭代中，一个代理模型被训练从评估黑盒目标函数中收集的数据。根据代理模型的预测后验定义获取函数，然后最大化获取函数，选择一个或多个候选对象进行下一步评估，权衡探索和利用。

本教程的目标是通过关注BO的挑战、原则、算法思想和它们之间的联系，以及重要的现实世界应用，介绍BO的最新进展。具体来说，我们将介绍最近在获取函数、离散和混合空间的BO方法、高维输入空间的BO方法、因果BO和BoTorch工具箱中的关键创新以及实际演示方面的工作。

链接：https://bayesopt-tutorial.github.io/

内容中包含的图片若涉及版权问题，请及时与我们联系删除