LinkGPT: Teaching Large Language Models To Predict Missing Links

大型语言模型（LLMs）在各种语言和视觉任务中表现出了良好的结果。最近，人们越来越关注将LLMs应用于基于图的任务，特别是文本属性图（TAGs）。然而，大多数研究都集中在节点分类上，而LLMs用于链接预测（LP）的研究仍未得到充分研究。在这项工作中，我们提出了一个新的LLMs任务，其目标是利用LLMs预测图中节点之间的缺失链接。该任务评估了LLMs在结构化数据上推理和推断新事实的能力。这个新任务面临两个关键挑战：（1）如何有效地将成对的结构信息集成到LLMs中，这对LP性能至关重要；（2）如何解决教授LLMs执行LP时的计算瓶颈。为了解决这些挑战，我们提出了LinkGPT，这是第一个针对LP任务进行端到端训练的LLM。为了有效增强LLM理解底层结构的能力，我们设计了一个两阶段指令调整方法，其中第一阶段微调成对编码器、投影仪和节点投影仪，第二阶段进一步微调LLMs以预测链接。为了解决推理时的效率挑战，我们引入了一种检索-重新排序方案。实验表明，LinkGPT可以在现实世界的图上实现最先进的性能，并在零样本和少样本学习中具有更好的泛化能力，超过现有基准。在推理时，它可以实现$10\times$的加速，同时保持高的LP准确性。

本文提出了一种新的任务，即利用大型语言模型（LLMs）预测图中节点之间缺失的链接。这个任务的目的是评估LLMs推理结构化数据和基于学习模式推断新事实的能力。

为了有效地将成对结构信息集成到LLMs中，本文设计了一个两阶段指导调整方法，其中第一阶段微调成对编码器、投影仪和节点投影仪，第二阶段进一步微调LLMs以预测链接。为了解决推理时的效率问题，本文引入了一种检索-重新排序方案。

本文提出了LinkGPT，这是第一个端到端训练的LLM用于LP任务。LinkGPT在真实世界的图上可以实现最先进的性能，并且在零样本和少样本学习方面具有优越的泛化能力，超过了现有的基准。在推理时，它可以实现10倍的加速，同时保持高LP准确性。

最近在这个领域中，大多数研究集中在节点分类上，而使用LLMs进行链接预测（LP）的研究仍然不够充分。