Flock: A Knowledge Graph Foundation Model via Learning on Random Walks

我们研究知识图谱（KGs）上的零样本链接预测问题，该任务要求模型能够泛化到新实体和新关系。知识图谱基础模型（KGFMs）通过在节点和关系上施加等变性，从节点与关系的结构特性中学习，并将这些特性迁移到具有相似结构特征的新图谱中，从而解决这一任务。然而，传统的确定性等变性概念对KGFMs的表达能力存在固有局限，使其难以区分结构相似但语义不同的关系。为克服这一限制，我们提出了概率性节点-关系等变性，该方法在分布层面保持等变性，同时引入有原则的随机化机制，在推理过程中打破对称性。基于这一原理，我们提出了Flock模型：该模型迭代地采样随机游走路径，通过记录协议将其编码为序列，利用序列模型进行嵌入，并通过可学习的池化操作聚合节点和关系的表示。关键的是，Flock遵循概率性节点-关系等变性，且在知识图谱上对同构不变的链接级函数具有通用逼近能力。实验表明，Flock在当前KGFMs表现失败的全新诊断数据集Petals上实现了完美求解，并在来自多个领域的54个知识图谱的实体和关系预测任务中达到了最先进的性能。

论文试图解决知识图谱（KG）中零样本链接预测的问题，特别是模型在面对新实体和新关系时的泛化能力。传统方法受限于确定性等变性，难以区分结构相似但语义不同的关系，这是一个尚未被充分解决的挑战。

提出概率性节点-关系等变性（probabilistic node-relation equivariance），在保持分布层面等变性的同时引入原则性的随机化来打破对称性。基于此构建Flock模型，通过随机游走采样、序列编码与学习聚合机制，实现对知识图谱中同构不变链接级函数的通用逼近。相比现有方法，该思路在保留结构归纳偏置的同时增强了表达能力。

Flock在新构建的诊断数据集Petals上表现完美，而现有KG基础模型均失败；在54个跨领域知识图谱上实现了实体和关系预测的SOTA性能；模型设计包含可学习的池化机制和序列化表示流程；论文强调了理论通用性与实际性能的结合；代码与数据集已开源，具备良好可复现性，未来可探索其在动态图、多跳推理等方向的应用。

Recent advances in knowledge graph foundation models: Are we ready for pretraining on large-scale knowledge graphs?; Equivariant Knowledge Graph Embeddings; Structure-Aware Language Models for Knowledge Graph Induction; Link Prediction as Sequence Generation; Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction