Dr.E Bridges Graphs with Large Language Models through Words

目前，人们已经投入了大量的精力来将强大的大型语言模型（LLMs）与各种模态集成，特别是集中于视觉、语言和音频数据的融合。然而，具有图形结构的数据固有地富含结构和领域特定的知识，但尚未完美地适应于LLMs。现有的方法要么用原始文本描述图形，从而失去图形结构信息，要么直接将图神经网络（GNN）嵌入LLM中，以损失语义表示。为了弥合这一差距，我们引入了一种创新的、端到端的模态对齐框架，配备了一个预训练的双重残差向量量化 - 变分自编码器（Dr.E）。该框架专门设计用于实现与LLMs的令牌级对齐，从而有效地将图形的内在“语言”翻译成可理解的自然语言。我们在标准的GNN节点分类任务上进行的实验评估表明，与其他最先进的方法相比，我们的框架具有竞争性能。此外，我们的框架确保可解释性、效率和鲁棒性，其有效性在微调和少样本设置下得到进一步验证。这项研究标志着首次成功实现了GNN和LLMs之间的令牌级对齐。

如何优雅地将图形数据与大型语言模型（LLMs）相结合，以实现图结构数据的语义表示和自然语言转换？

提出了一种新颖的端到端模态对齐框架，配备了预训练的双重残差向量量化 - 变分自编码器（Dr.E），通过使GNN和LLM在令牌级别上对齐，实现了图形数据的语义表示和自然语言转换。

实验结果表明，该框架在标准GNN节点分类任务上具有竞争力，同时确保了可解释性、效率和鲁棒性，并在微调和少样本情况下进一步验证了其有效性。该研究是首次成功地实现了GNN和LLM之间的令牌级别对齐。

最近的相关研究包括：1.《Graph-Bert: Only Attention is Needed for Learning Graph Representations》2.《GPT-GNN: Generative Pre-Training of Graph Neural Networks》3.《Learning to Transform Graphs, with Applications to Graph-to-Text Generation》