Composite Bayesian Optimization In Function Spaces Using NEON -- Neural Epistemic Operator Networks

运算学习是科学计算中一个不断发展的领域，其模型的输入或输出是在无限维空间中定义的函数。本文介绍了一种名为NEON（神经认知算子网络）的架构，它使用单个算子网络骨干生成带有不确定性的预测，其可训练参数数量比具有相似性能的深度集合模型少几个数量级。我们通过研究组合贝叶斯优化（BO）问题来展示这种方法在顺序决策制定中的实用性，其中我们旨在优化一个函数$f=g\circ h$，其中$h:X\to C(\mathcal{Y},\mathbb{R}^{d_s})$是一个未知映射，它输出函数空间的元素，而$g:C(\mathcal{Y},\mathbb{R}^{d_s})\to \mathbb{R}$是一个已知的且计算成本低的函数。通过将我们的方法与其他最先进的方法在玩具和真实场景中进行比较，我们证明NEON在需要少得多的可训练参数的情况下实现了最先进的性能。

NEON架构旨在使用单个操作器网络骨干生成带有不确定性的预测，从而解决复合贝叶斯优化问题。

使用单个操作器网络骨干生成带有不确定性的预测，比可比性能的深度集合少几个数量级的可训练参数。

NEON在复合贝叶斯优化问题上表现出了最先进的性能，同时需要比其他方法少几个数量级的可训练参数。实验结果显示，该方法在玩具和实际场景中均表现出色。

最近的相关研究包括：'Deep Ensembles: A Loss Landscape Perspective'，'Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning'，'Bayesian Optimization in High Dimensions via Random Embeddings'等。