Bayesian Additive Regression Networks

我们将贝叶斯加性回归树（BART）原理应用于训练回归任务的小型神经网络集合。使用马尔科夫链蒙特卡罗方法，我们从具有单个隐藏层的神经网络的后验分布中采样。为了创建这些神经网络的集合，我们应用吉布斯采样来更新每个网络，以针对残差目标值（即减去其他网络的影响）。我们在几个基准回归问题上展示了这种技术的有效性，并将其与等效的浅层神经网络、BART和普通最小二乘法进行了比较。我们的贝叶斯加性回归网络（BARN）提供了更一致且通常更准确的结果。在测试数据基准测试中，BARN的平均根均方误差比其他方法低5％至20％。然而，这种误差性能的代价是更大的计算时间。BARN有时需要一分钟左右，而竞争方法只需要一秒钟或更少。但是，没有交叉验证的超参数调整的BARN所需的计算时间与调整其他方法的时间大致相同。然而，BARN通常仍然更准确。

论文旨在解决回归问题，并验证使用贝叶斯加性回归树（BART）原理训练小型神经网络的有效性。

使用马尔可夫链蒙特卡罗采样从具有单隐藏层的神经网络的后验分布中进行抽样，并应用吉布斯采样来更新每个网络，以减去其他网络的残差目标值。

论文提出的Bayesian Additive Regression Networks（BARN）在多个基准回归问题上表现更为一致且通常更准确，平均根均方误差降低了5％至20％。然而，这种性能的计算成本更高，但是BARN没有进行交叉验证的超参数调整所需的计算时间与其他方法相当。实验使用了多个基准数据集，并提供了开源代码。

最近的相关研究包括使用蒙特卡罗树搜索的深度学习方法和贝叶斯神经网络。