ORLM: Training Large Language Models for Optimization Modeling

大型语言模型（LLMs）已成为应对复杂运筹学问题的强大工具，通过提供自动化优化建模的能力来解决问题。然而，目前的方法在很大程度上依赖于专有的LLMs（例如，多智能体协作），引发了数据隐私方面的担忧，这可能会在工业应用中构成禁碍。为了解决这个问题，我们提出了训练用于优化建模的开源LLMs。我们确定了OR LLMs训练数据集的四个关键要求，设计并实现了OR-Instruct，这是一个半自动化的过程，用于创建特定要求的合成数据。我们还介绍了IndustryOR基准测试，这是第一个用于测试LLMs解决实际运筹学问题的工业基准测试。我们将OR-Instruct的数据应用于各种7b大小的开源LLMs（称为ORLMs），从而显著提高了优化建模的能力。我们最出色的ORLM在NL4OPT、MAMO和IndustryOR基准测试中均取得了最先进的性能。我们的代码和数据可在\url{https://github.com/Cardinal-Operations/ORLM}上获得。

本论文旨在提出一种解决复杂运筹学问题的方法，通过训练开源的大型语言模型（LLMs）来自动化优化建模。同时解决数据隐私问题，避免使用专有LLMs和多智能体合作的方法。

论文提出了OR-Instruct，一种半自动化的过程，用于创建特定要求的合成数据，以满足OR LLMs的训练数据需求。同时介绍了IndustryOR基准测试，用于测试LLMs在解决实际OR问题方面的性能。

论文使用OR-Instruct生成的数据训练了不同开源OR LLMs，包括7b大小的模型，取得了优秀的性能表现。同时，论文提供了开源代码和数据，方便其他研究人员进行进一步研究。

最近的相关研究主要集中在使用LLMs解决各种问题，包括OR问题。例如，NL4OPT和MAMO基准测试中就包含了使用LLMs解决OR问题的研究。