Exploring the Potential of Large Language Models as Predictors in Dynamic Text-Attributed Graphs

随着大型语言模型（LLMs）的兴起，图基础模型（GFMs）在基于图的任务中引起了越来越多的关注。通过利用LLMs作为预测器，GFMs在各种任务和数据集上展示了令人印象深刻的泛化能力。然而，现有的关于LLMs作为预测器的研究主要集中在静态图上，其在动态图预测中的潜力尚未被充分探索。在这项工作中，我们率先使用LLMs进行动态图上的预测任务。我们确定了两个关键挑战：处理大规模历史数据时受上下文长度限制的影响，以及领域特征的巨大差异性，这两者都使得开发统一的预测器变得复杂。为了解决这些挑战，我们提出了GraphAgent-Dynamic（GAD）框架，一个多代理系统，该系统利用协作的LLMs。与使用单一LLM作为预测器不同，GAD结合了全局和局部摘要代理来生成领域特定的知识，增强了其跨领域的可迁移性。此外，知识反射代理使GAD的知识能够自适应更新，保持统一且自洽的架构。在实验中，GAD表现出与完全监督的图神经网络相当甚至更优的性能，而无需针对特定数据集进行训练。最后，为了提高基于LLMs的预测器在特定任务上的性能，我们讨论了潜在的改进措施，例如对LLMs进行数据集特定的微调。通过为不同任务制定定制策略，我们为未来基于LLMs的预测器设计提供了新的见解。

该论文旨在解决大型语言模型（LLMs）在动态图预测任务中的应用问题，特别是针对大规模历史数据处理时的上下文长度限制以及不同领域特征的显著差异所带来的挑战。这确实是一个新问题，因为现有的研究大多集中在静态图上。

论文的关键思路是引入GraphAgent-Dynamic (GAD)框架，一个多代理系统，通过协作式的LLM来克服上述挑战。GAD不仅使用全局和局部摘要代理生成特定领域的知识，还通过知识反射代理实现自适应更新，保持统一且自我一致的架构。这一方法相比传统单个LLM作为预测器的方式，更具有跨域迁移能力。

实验表明，GAD在多个任务上的表现可与甚至超过全监督图神经网络，而无需针对特定数据集进行训练。此外，作者还讨论了通过数据集特异性微调进一步提升LLM预测器性能的可能性。这项工作为未来LLM在图预测任务中的应用提供了宝贵见解，并强调了开发定制化策略的重要性。值得注意的是，虽然文中未明确提及，但开源代码对于后续研究至关重要。

近年来，在图学习领域有许多相关研究，例如： 1. 'Graph Neural Networks: A Review of Methods and Applications' - 综述了图神经网络的方法及应用。 2. 'Dynamic Graph Representation Learning via Self-Attention Networks' - 探讨了基于自注意力机制的动态图表示学习。 3. 'Large-Scale Learnable Graph Structure Attention Network for Recommendation' - 研究了推荐系统中大规模可学习图结构注意力网络。 这些研究都从不同角度探讨了图结构数据的学习问题，但直接将LLMs应用于动态图预测的研究仍属创新。