标题：DeepMind、牛津、IDSIA等|A Generalist Neural Algorithmic Learner（通才神经算法学习器）

作者：Borja Ibarz, Vitaly Kurin, Petar Velickovic等

简介：本文介绍了一种基于神经算法推理解决算法任务的方法。近年来该领域的方法改进激增，但它们主要集中在构建专业模型上。专业模型能够学习神经执行仅一种算法或具有相同控制流主干的算法集合。作者专注于构建一个通用的神经算法学习器——一个能够学习执行各种算法的单图神经网络处理器，例如排序、搜索、动态规划、寻路和几何。作者利用 CLRS 基准从经验上表明，与感知领域最近的成功非常相似，通才算法学习器可以通过“结合”知识来构建。也就是说，只要作者能学会在单任务机制下很好地执行它们，就可以以多任务方式有效地学习算法。受此启发，作者对 CLRS 的输入表示、训练机制和处理器架构进行了一系列改进，将平均单任务性能比现有技术提高了 20% 以上。作者利用这些改进对多任务学习者进行彻底消融。结果证明了一个通才学习者可以有效地整合专家模型捕获的知识。

论文下载：https://arxiv.org/pdf/2209.11142v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除