Struct-X: Enhancing Large Language Models Reasoning with Structured Data

结构化数据富含逻辑和关系信息，有潜力提升大型语言模型（LLM）的推理能力。然而，由于存在过多的标记和无关的上下文信息，其整合仍面临挑战。为了解决这个问题，我们提出了Struct-X框架，通过五个关键步骤“读取-模型填充-反思-推理”高效地让LLM利用结构化数据。首先，使用图嵌入将结构化数据编码到拓扑空间中，然后使用知识检索模块填充缺失的实体信息，并通过自监督模块过滤掉无关标记。最后，构建一个拓扑网络，选定标记以进一步减少标记总长度，从而更有效地进行LLM推理。此外，Struct-X还包括一个辅助模块，用于生成提示，帮助LLM分析结构化数据。在知识图谱问答任务和长文档阅读理解任务等基准测试上进行的广泛实验表明，Struct-X显著提高了LLM的推理能力，证明了结构化数据增强在提高LLM推理复杂输入上下文的有效性。

论文旨在解决如何将结构化数据有效地集成到大型语言模型中，提高其推理能力的问题。

Struct-X框架通过图嵌入、知识检索模块、自监督模块和构建拓扑网络等五个步骤实现结构化数据的集成。其中，构建拓扑网络的步骤可以进一步减少LLMs推理时的token数量，从而提高推理效果。

论文在知识图谱问答任务和长文档阅读理解任务等基准测试中进行了广泛实验，证明了Struct-X框架可以有效提高LLMs的推理能力。此外，论文还提出了一个辅助模块，用于生成提示，帮助LLMs分析结构化数据。

最近的相关研究包括GPT-3、Turing Universal Language Model和ERNIE等。