Latent Space Representations of Neural Algorithmic Reasoners

V V. Mirjanić, R Pascanu, P Veličković
[University of Cambridge & Google DeepMind]

神经算法推理器的潜空间表示

要点:

  • 动机：对神经算法推理(NAR)进行研究，通过分析神经网络在执行算法时诱导的潜空间结构，发现其中存在的问题，并提出改进方法。
  • 方法：使用图神经网络(GNN)作为主要方法，通过使用softmax聚合器解决分辨相似值困难的问题，并通过衰减潜空间来处理超出训练范围的值。
  • 优势：在常用的CLRS-30基准测试中，改进的方法在大多数算法上取得了改进，揭示了当前GNN架构的弱点，并提供了解决方案。


通过分析神经算法推理中的潜空间结构，发现GNN架构的两个弱点，并提出改进方法，在常见的算法基准测试中取得了改进。

https://arxiv.org/abs/2307.08874

https://github.com/mirjanic/nar-latent-spaces


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除