Variational Bayesian Last Layers

我们介绍了一种确定性变分公式，用于训练贝叶斯神经网络的最后一层。这产生了一个无需采样、单次通过模型和损失，有效提高了不确定性估计。我们的变分贝叶斯最后一层（VBLL）可以在最后一层宽度的二次复杂度内进行训练和评估，因此（几乎）可以免费添加到标准架构中。我们进行了VBLL的实验研究，并表明它们在回归和分类中均比基线模型提高了预测准确性、校准性和超出分布的检测。最后，我们研究了将VBLL层与变分贝叶斯特征学习相结合，从而产生了一种更低方差的折叠变分推理方法，用于贝叶斯神经网络。

提高神经网络的不确定性估计能力

使用确定性变分形式训练贝叶斯神经网络的最后一层，从而提高不确定性估计能力

论文提出了VBLL方法，可以用较低的计算成本提高模型的不确定性估计能力；实验表明，VBLL方法可以提高预测准确性、校准性和异常检测能力；论文还探讨了将VBLL层与变分贝叶斯特征学习相结合的方法，提出了一种新的贝叶斯神经网络折叠变分推断方法

与该论文相关的研究包括：Variational Inference for Monte Carlo Objectives、Dropout as a Bayesian Approximation、Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference等