EPFL、苹果｜未见数据的泛化、逻辑推理和课程式学习方法

Generalization on the Unseen, Logic Reasoning and Degree Curriculum

• 机构：EPFL、苹果

• 作者：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk

• 论文地址：https://openreview.net/forum?id=3dqwXb1te4

该论文在布尔函数的学习方面取得了重要进展，尤其是针对未见过域的泛化（Generalization on the Unseen, GOTU），这是一个具有挑战性的分布外泛化问题。该论文深入探究了这一课题，提出了一种结构良好的方法，并有充足的理论分析和大量实验支撑。此外该论文还概述了深度神经网络领域的一个关键研究方向。

研究者探究了具有 holdout 的函数学习问题，其中部分分布支持在训练中几乎或从来没有见过，并使用布尔目标函数来捕捉各种推理任务（如算术、决策树和逻辑电路）的离散和组合属性。

研究者对长度泛化问题给出了自己的解释，并提出了一种名为「Degree-Curriculum」的课程式学习算法，该算法通过增加支持更高效地学习单项式。算法如下所示：

内容中包含的图片若涉及版权问题，请及时与我们联系删除