Transformer-based Reasoning for Learning Evolutionary Chain of Events on Temporal Knowledge Graph

时间知识图谱（TKG）推理通常涉及沿时间轴完成缺失的事实元素。虽然现有方法可以通过整合时间信息为每个四元组学习良好的嵌入，但它们通常无法推断时间事实的演变。这主要是因为（1）不足地探索四元组内部结构和语义关系，以及（2）不充分地学习不同四元组之间的上下文和时间相关性的统一表示。为了克服这些限制，我们提出了一种新颖的基于Transformer的TKG推理模型（称为ECEformer），用于学习事件演化链（ECE）。具体而言，我们按时间顺序展开实体节点的邻域子图，形成演化事件链作为我们模型的输入。随后，我们利用Transformer编码器学习ECE内部四元组的嵌入。然后，我们基于多层感知器（MLP）设计了一个混合上下文推理模块，用于学习ECE的四元组之间的统一表示，并完成时间知识推理。此外，为了增强事件的及时性，我们设计了一个额外的时间预测任务，以在学习的统一表示中完成有效的时间信息。在六个基准数据集上进行的大量实验证实了我们方法的最先进性能和有效性。

本论文旨在解决时间知识图谱推理中的演化问题，即如何推断时间事实的演化。这是一个相对较新的问题。

论文提出了一种基于Transformer的推理模型，称为ECEformer，用于学习事件演化链。该模型利用Transformer编码器学习ECE内部四元组的嵌入，使用基于多层感知器的混合上下文推理模块学习ECE不同四元组之间的统一表示，并完成时间知识推理。此外，为了增强事件的时效性，论文还设计了一个额外的时间预测任务，用于在学习到的统一表示中完成有效的时间信息。

论文通过在六个基准数据集上的广泛实验验证了ECEformer方法的优越性和有效性，并与当前最先进的方法进行了比较。此外，论文还提供了开源代码和实验数据集，以便进一步研究。

近期在时间知识图谱推理领域的相关研究包括：《Temporal Knowledge Graph Completion via Dynamic Graph Attention Networks》、《Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs》、《Representation Learning for Attributed Multiplex Heterogeneous Network》等。