GOFA: A Generative One-For-All Model for Joint Graph Language Modeling

基础模型，如大型语言模型（LLM）或大型视觉模型（LVM），已成为各自领域中最强大的工具之一。然而，与文本和图像数据不同，图形数据没有明确的结构，这给开发图形基础模型（GFM）带来了巨大挑战。例如，目前设计通用图形模型的尝试要么将图形数据转换为LLM基于预测的语言格式，要么仍然使用LLM作为助手训练GNN模型。前者可以处理无限的任务，而后者更好地捕捉图形结构，但是，不存在任何现有的工作可以同时实现这两个目标。在本文中，我们确定了GFM的三个关键理想属性：自监督预训练、任务流动性和图形感知。为了考虑这些属性，我们将传统的语言建模扩展到图形领域，并提出了一种新的生成图形语言模型GOFA来解决这个问题。该模型将随机初始化的GNN层交错到冻结的预训练LLM中，以便有机地结合语义和结构建模能力。GOFA在新提出的图形级别的下一个单词预测、问答和结构任务上进行了预训练，以获得上述GFM属性。进一步在下游任务上对微调模型进行微调，以获得任务解决能力。微调后的模型在各种下游任务上进行评估，展示了在零-shot场景下解决结构和上下文问题的强大能力。该代码可在https://github.com/JiaruiFeng/GOFA上获得。

论文试图解决如何开发一个能够同时处理图结构和语义信息的图基础模型的问题。

将传统的语言建模方法扩展到图领域，提出了一种新的生成式图语言模型GOFA，通过将随机初始化的GNN层与预训练的LLM层交错组合，实现了语义和结构建模的有机结合。

论文提出的GOFA模型具有自监督预训练、任务流畅性和图感知等三个关键属性，通过在图级别的下一个词预测、问答和结构任务上进行预训练，进一步在下游任务上进行微调，实现了零样本情况下解决结构和上下文问题的强大能力。论文代码开源。

近期的相关研究包括将图数据转换为语言格式进行LLM预测的方法和将LLM作为助手训练GNN模型的方法等。