Differentiable Cluster Graph Neural Network

图神经网络在传递长距离信息和处理异构邻居方面经常面临困难。我们通过一个统一的框架来解决这两个挑战，该框架将聚类归纳偏差纳入消息传递机制中，使用额外的聚类节点。我们方法的核心是制定基于最优传输的隐式聚类目标函数。然而，解决隐式目标函数的算法需要可微分，以便实现对GNN的端到端学习。为了实现这一点，我们采用熵正则化的目标函数，并提出了一个迭代优化过程，交替解决集群分配和更新节点/集群节点嵌入。值得注意的是，我们推导出的闭式优化步骤本身就是简单而优雅的消息传递步骤，可以无缝地在节点和聚类节点的二分图上运行。我们基于聚类的方法可以有效地捕捉局部和全局信息，这在异构和同构数据集的广泛实验中得到了证明。

解决问题：论文试图解决长距离信息传播和异质邻域存在时图神经网络的问题。

关键思路：采用聚类归纳偏差来将聚类嵌入到消息传递机制中，使用额外的聚类节点来解决信息传播问题，并采用基于最优传输的隐式聚类目标函数进行优化。

亮点：采用聚类的方法，可以有效地捕捉局部和全局信息。实验结果表明，该方法在异质和同质数据集上都表现出色。使用熵正则化的目标函数和迭代优化过程，使得算法可微分，从而实现了端到端学习。该算法的优化步骤本身是简单而优雅的消息传递步骤，无缝地在节点和聚类节点的二分图上运行。

相关研究：最近的相关研究包括：《Graph Attention Networks》、《Semi-Supervised Classification with Graph Convolutional Networks》、《Graph Convolutional Networks for Text Classification》等。