GraphOmni: A Comprehensive and Extendable Benchmark Framework for Large Language Models on Graph-theoretic Tasks

在本文中，我们提出了 GraphOmni，这是一个全面的基准框架，用于系统评估大语言模型（LLMs）的图推理能力。通过分析关键维度，包括图类型、序列化格式和提示方案，我们深入探讨了当前大语言模型的优势与局限性。我们的实证研究结果表明，没有任何一种单一的序列化或提示策略能够始终优于其他策略。基于这些洞见，我们提出了一种基于强化学习的方法，该方法能够动态选择最优的序列化-提示配对，从而显著提升准确性。GraphOmni 的模块化和可扩展设计为未来的研究奠定了坚实的基础，有助于推动通用图推理模型的发展。

该论文试图评估大型语言模型（LLMs）在图推理任务中的表现，并探索如何通过优化序列化格式和提示策略来提升其性能。这是一个重要问题，因为当前的LLMs在处理结构化数据（如图数据）时面临挑战，而这一领域尚缺乏系统性的研究。

论文提出了一种名为GraphOmni的全面基准框架，用于系统评估LLMs的图推理能力。与现有研究不同，它不仅分析了不同的图类型、序列化格式和提示方案，还提出了基于强化学习的动态选择机制，以自动挑选最优的序列化-提示对。这种方法显著提高了模型的准确性，展现了对图数据建模的新思路。

1. 提出了GraphOmni框架，具有模块化和可扩展设计，为未来研究奠定了基础；2. 通过广泛的实验验证了不同序列化和提示策略的效果，并发现没有单一方法始终优于其他方法；3. 强化学习驱动的动态优化方法提升了图推理性能；4. 论文未明确提及是否开源代码或具体数据集，但其实验涵盖了多种图类型和序列化格式，值得进一步研究的方向包括更复杂的图结构和跨领域的实际应用场景。

相关研究包括：1. 'Evaluating Large Language Models Trained on Code' - 探索代码理解和生成能力，间接涉及图结构表示；2. 'Graph Neural Networks Meet Neural-Symbolic Reasoning' - 将图神经网络与符号推理结合；3. 'Prompt Engineering for Graph Problems in LLMs' - 研究针对图问题的提示工程方法；4. 'Benchmarking GNN Explainers: A New Framework and Comprehensive Evaluation' - 提供了图神经网络解释器的基准测试框架。这些工作共同推动了图数据处理和推理技术的发展。