Differential Encoding for Improved Representation Learning over Graphs

将消息传递范式与全局注意力机制相结合已成为学习图形的有效框架。消息传递范式和全局注意力机制基本上是基于从节点的局部邻域或整个图形聚合的信息生成节点嵌入。最基本和常用的聚合方法是从节点的局部邻域或整个图形中取信息的总和。但是，不知道主导信息是来自节点本身还是来自节点的邻居（或其余图形节点）。因此，在每个嵌入生成层中存在信息丢失，当模型使用更多层时，这种信息丢失可能会累积并变得更加严重。在本文中，我们提出了一种差分编码方法来解决信息丢失问题。我们方法的思想是编码来自节点邻居（或其余图形节点）的信息与来自节点本身的信息之间的差分表示。然后将获得的差分编码与原始聚合的局部或全局表示相结合，生成更新的节点嵌入。通过集成差分编码，生成的节点嵌入的表征能力得到了提高。差分编码方法在七个基准数据集上对不同的图形任务进行了实证评估。结果表明，它是一种通用方法，可以改进消息传递更新和全局注意力更新，推进这些数据集上的图形表示学习的最新性能。

本文旨在解决图表示学习中信息丢失的问题，提出了一种差分编码方法以提高节点嵌入的表示能力。

本文提出的差分编码方法能够对节点信息进行更精确的表示，从而提高了节点嵌入的表示能力。

本文在七个基准数据集上对差分编码方法进行了实验验证，结果表明该方法能够显著提高图表示学习的性能。本文的方法对于消息传递范式和全局注意机制都适用，具有广泛的适用性。

在近期的相关研究中，也有一些关于图表示学习的方法，如《Graph Attention Networks》和《Semi-Supervised Classification with Graph Convolutional Networks》等。