Should We Learn Most Likely Functions or Parameters?

标准的正则化训练程序对应于最大化参数的后验分布，称为最大后验估计（MAP）估计。然而，模型参数只有与模型的功能形式相结合才能提供能够做出良好预测的函数，因此只有这些函数才是我们感兴趣的。此外，参数后验下最可能的参数通常不对应于由参数后验引起的最可能函数。实际上，我们可以重新参数化模型，使得任何参数设置都可以最大化参数后验。作为替代方案，我们研究了直接估计模型和数据所暗示的最可能函数的优缺点。我们证明了在使用神经网络时，这种方法会导致病态解，并证明了该过程良好行为的条件以及可扩展的近似方法。在这些条件下，我们发现函数空间MAP估计可以导致更平坦的最小值，更好的泛化性能和更好的抗过拟合性能。

论文试图探讨直接估计模型和数据所隐含的最可能函数的方法，以及与标准正则化训练程序的比较。同时，论文也试图证明这种方法的可行性和优点。

论文提出了函数空间MAP估计的方法，即直接估计最可能的函数，而不是参数。这种方法可以导致更平缓的极小值，更好的泛化性能和更强的抗过拟合能力。

论文通过实验验证了函数空间MAP估计的优点，并提出了一种可扩展的近似方法。实验使用了神经网络，并使用了多个数据集进行测试。论文还探讨了函数空间MAP估计的局限性，并提出了一些未来的研究方向。

近期的相关研究包括：'Bayesian Deep Learning'，'Variational Inference for Bayesian Deep Learning'，'Dropout as a Bayesian Approximation'等。