目前，贝叶斯方法难以获得深度学习的好处，贝叶斯方法允许对先验知识进行明确的描述，并准确地捕获模型的不确定性。我们提出了先验数据拟合网络(PFNs)。PFNs利用大规模机器学习技术来近似一组大后验。PFNs唯一要求是能够从监督学习任务(或函数)的先验分布中取样。我们的方法将后验逼近的目标重申为带有集值输入的有监督分类问题:它重复地从先前的任务(或函数)中绘制一个任务(或函数)，从中绘制一组数据点及其标签，隐藏其中一个标签，并学习基于其余数据点的集值输入对其进行概率预测。PFNs采用一组新的有监督学习任务的样本作为输入，在学习了近似贝叶斯推理之后，可以对单个正向传播中的任意其他数据点进行概率预测。我们证明PFNs可以近乎完美地模拟高斯过程，也可以对棘手的问题进行有效的贝叶斯推理，与现有方法相比，在多个设置中加速超过200倍。

论文链接：

https://arxiv.org/pdf/2112.10510.pdf

代码：

https://github.com/automl/TransformersCanDoBayesianInference

先验数据拟合网络(PFNs)的可视化。我们从先前的数据集采样，并在这些数据集的保留样本上拟合PFN。给定一个实际的数据集，我们将它和一个测试点输入PFN，并在单个正向传播中获得贝叶斯推理的近似值。

内容中包含的图片若涉及版权问题，请及时与我们联系删除