Let Your Graph Do the Talking: Encoding Structured Data for LLMs

我们该如何最好地将结构化数据编码成序列形式，以便在大型语言模型（LLM）中使用？在这项工作中，我们介绍了一种参数高效的方法，用于为LLM明确表示结构化数据。我们的方法名为GraphToken，学习了一种编码函数，用于将显式的结构化信息扩展到提示中。与其他专注于有限领域（例如知识图表示）的工作不同，我们的工作是第一个专注于一般结构化数据编码以用于各种推理任务的努力。我们表明，显式表示图结构允许在图推理任务中获得显着的改进。具体而言，我们从GraphQA基准测试中看到了全面的改进 - 在节点、边和图级任务上高达73个百分点。

如何将结构化数据编码为序列形式，以便在大型语言模型中使用？本文介绍了一种参数高效的方法，即GraphToken，用于为LLMs显式表示结构化数据。该方法学习一个编码函数，将提示信息与显式结构化信息扩展。与其他专注于特定领域（例如知识图谱表示）的工作不同，本文是第一个专注于一般结构化数据编码的工作，以用于各种推理任务。我们展示了显式表示图形结构允许在图形推理任务中获得显着改进。具体而言，我们在GraphQA基准测试中看到了全面的改进 - 高达73个百分点的节点、边缘和图形级任务。

本文提出了一种参数高效的方法，即GraphToken，用于为LLMs显式表示结构化数据。该方法学习一个编码函数，将提示信息与显式结构化信息扩展。

本文的亮点是，GraphToken方法在一般结构化数据编码方面具有创新性；显式表示图形结构允许在图形推理任务中获得显着改进；在GraphQA基准测试中看到了全面的改进 - 高达73个百分点的节点、边缘和图形级任务。

最近的相关研究有：1. "Knowledge Graph Embedding for Link Prediction: A Comparative Analysis"；2. "A Comprehensive Survey on Graph Neural Networks"；3. "GNNExplainer: Generating Explanations for Graph Neural Networks"。