Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data

主动学习通过有策略地选择实验或模拟来优化对大参数空间的探索，从而减少资源消耗，可能加速科学发现。该方法的关键组成部分是概率代理模型，通常是高斯过程（GP），它近似描述了控制参数和目标性质之间的未知函数关系。然而，传统的GP在应用于具有不连续性和非平稳性的系统时通常很难处理，这促使人们探索替代模型。这种限制在物理科学问题中变得特别重要，因为这些问题通常具有不同系统状态之间的突变和物理特性行为的快速变化。全贝叶斯神经网络（FBNNs）作为一种有前途的替代品，将所有神经网络权重视为概率，并利用先进的马尔可夫链蒙特卡罗技术直接从后验分布中进行采样。这种方法使FBNN能够提供可靠的预测分布，在主动学习环境下，在不确定性下做出明智的决策至关重要。尽管传统上认为FBNN对于“大数据”应用来说计算成本太高，但许多物理科学问题涉及相对较低维参数空间中的少量数据。在这里，我们评估了使用No-U-Turn Sampler的FBNN在“小数据”范围内进行主动学习任务的适用性和性能，并强调了它们在物理科学问题相关的测试函数上提高预测准确性和可靠性的潜力。

使用全贝叶斯神经网络进行主动学习的小数据问题

使用全贝叶斯神经网络代替高斯过程模型进行主动学习，提高了在物理科学问题中的预测精度和可靠性

论文使用了全贝叶斯神经网络和No-U-Turn Sampler进行主动学习任务，在小数据问题中表现良好。实验结果表明全贝叶斯神经网络在处理具有不连续性和非平稳性的系统时比高斯过程模型更优秀。

相关研究包括使用高斯过程模型进行主动学习，以及使用其他神经网络模型进行主动学习的研究。