Aligning Transformers with Weisfeiler-Leman

将与 $k$-WL 层次结构对齐的图神经网络架构提供了理论上可理解的表达能力。然而，这些架构在真实世界的图上往往无法提供最先进的预测性能，从而限制了它们的实用性。虽然最近将图转换器架构与 $k$-WL 层次结构对齐的工作展示了有希望的实证结果，但由于自我注意力的运行时间和内存复杂度以及不切实际的架构假设（例如不可行的注意力头数），使用转换器处理更高阶的 $k$ 仍然具有挑战性。在这里，我们推进了将转换器与 $k$-WL 层次结构对齐的工作，展示了每个 $k$ 更强的表达能力结果，使它们在实践中更加可行。此外，我们开发了一个理论框架，允许研究已建立的位置编码，如拉普拉斯位置编码和 SPE。我们在大规模 PCQM4Mv2 数据集上评估了我们的转换器，展示了与最先进技术的竞争性预测性能，并在小规模分子数据集上对其进行微调，展示了强大的下游性能。我们的代码可在 https://github.com/luis-mueller/wl-transformers 上获得。

论文旨在提高基于图神经网络的预测性能，尤其是针对实际应用中的大规模图数据集。同时，论文也试图解决使用自注意力机制对高阶$k$-WL层次结构的转换时，运行时间和内存复杂度过高的问题。

论文提出了一种将Transformer与$k$-WL层次结构对齐的方法，从而提高了每个$k$的表达能力。同时，论文还开发了一个理论框架，用于研究Laplacian PEs和SPE等位置编码方法。

论文的亮点包括：1. 提出了一种将Transformer与$k$-WL层次结构对齐的方法，从而提高了每个$k$的表达能力；2. 开发了一个理论框架，用于研究Laplacian PEs和SPE等位置编码方法；3. 在大规模PCQM4Mv2数据集上表现出了与最先进方法相当的预测性能；4. 在小规模分子数据集上进行微调后，表现出了强大的下游性能；5. 代码已经公开开源。

最近在这个领域中，还有一些相关研究。例如，"Graph Transformer Networks"，"Gated Graph Neural Networks"，"Graph Attention Networks"等。