Generalized Laplace Approximation

近年来，贝叶斯深度学习中的不一致性引起了越来越多的关注。温和或广义后验分布通常提供了直接有效的解决方案。然而，理解广义后验的根本原因并评估其有效性仍是研究的活跃领域。在这项研究中，我们引入了一个统一的理论框架，将贝叶斯不一致性归因于模型规范不当和先验不充分。我们将后验的广义解释为通过调整联合概率模型来纠正错配模型的温度因子，并通过在假设空间内的模型上重新分配概率质量来重新校准先验。此外，我们强调了拉普拉斯近似的一个独特特征，它确保广义归一化常数可以被视为不变的，这与一般贝叶斯学习的典型情况不同，后者在广义化后随着模型参数而变化。基于这一认识，我们提出了广义拉普拉斯近似，它涉及对正则化损失函数的海森矩阵计算进行简单的调整。这种方法提供了一个灵活且可扩展的框架，用于获取高质量的后验分布。我们评估了广义拉普拉斯近似在最先进的神经网络和真实世界数据集上的性能和特性。

研究贝叶斯深度学习中的不一致性问题，提出温和或广义后验分布作为解决方案，探究广义后验分布的有效性和原因。

将贝叶斯不一致性归因于模型规范不当和先验不足，提出了一种统一的理论框架，并将后验的广义化解释为通过调整联合概率模型来纠正规范不当的模型，通过在假设空间中重新分配模型的概率质量来重新校准先验。提出了广义Laplace近似方法，可以灵活地获得高质量的后验分布。

该论文还探讨了Laplace近似的独特特征，并提出了广义Laplace近似方法，该方法涉及对正则化损失函数的Hessian矩阵计算的简单调整。实验使用了最先进的神经网络和现实世界数据集来评估广义Laplace近似的性能和特性。

在这个领域中，最近的相关研究包括：《Bayesian Deep Learning》、《Variational Inference: A Review for Statisticians》等。