The Optimal Choice of Hypothesis Is the Weakest, Not the Shortest

如果 $A$ 和 $B$ 是集合，且 $A \subset B$，那么泛化可以被理解为从 $A$ 推断出一个足以构建 $B$ 的假设。人们可以从 $A$ 推断出任意数量的假设，但只有其中一些可以推广到 $B$。如何知道哪些假设可能会泛化？一种策略是选择最短的假设，将压缩信息的能力与泛化能力（智能的代理）等同起来。我们在感知认知的数学形式主义的背景下研究了这一点。我们表明，压缩既不是最大化性能的必要条件，也不是充分条件（以假设泛化的概率来衡量性能）。我们制定了一个与长度或简单性无关的代理，称为弱点。我们表明，如果任务是均匀分布的，那么没有选择代理的方法可以在所有任务中至少与弱点最大化一样好，同时在至少一个任务中表现更好。在二进制算术的背景下比较最大弱点和最小描述长度的实验中，前者的泛化速度是后者的 $1.1$ 到 $5$ 倍。我们认为这证明了弱点是一个更好的代理，并解释了为什么 Deepmind 的 Apperception Engine 能够有效地泛化。

论文探讨了如何选择最佳的假设来构建一个集合，以便推广到另一个集合。是否应该选择最短的假设？

论文提出了一个新的选择最佳假设的标准，称为弱点最大化，这是基于信息压缩的长度和简单性的标准的替代方案。

实验表明，弱点最大化比最小描述长度更好地推广了假设，作者还讨论了Deepmind的Apperception Engine的应用。

相关研究包括信息压缩、奥卡姆剃刀原理、神经网络和深度学习等。