ORLM: Training Large Language Models for Optimization Modeling

大型语言模型（LLMs）已成为自动化优化建模中复杂运筹学的强大工具。然而，目前的方法学严重依赖于提示工程（例如，多智能体协作）与专有的LLMs，引发了数据隐私问题，这可能在工业应用中是禁止的。为了解决这个问题，我们提出了训练用于优化建模的开源LLMs。我们确定了OR LLMs的训练数据集的四个关键要求，设计并实现了OR-Instruct，这是一个半自动化的过程，用于创建针对特定要求的合成数据。我们还介绍了IndustryOR基准测试，这是第一个用于测试LLMs解决实际运筹学问题的工业基准测试。我们将OR-Instruct的数据应用于各种7b大小的开源LLMs（称为ORLMs），从而显着提高了优化建模的能力。我们最佳表现的ORLM在NL4OPT、MAMO和IndustryOR基准测试中实现了最先进的性能。我们的代码和数据将在\url{https://github.com/Cardinal-Operations/ORLM}上提供。

论文旨在解决如何在不依赖专有大型语言模型的情况下，利用开源的大型语言模型进行复杂运筹学建模的问题。

论文提出了使用自动生成的合成数据集来训练开源大型语言模型（ORLMs）进行优化建模，从而提高其性能。

论文设计了OR-Instruct过程来生成符合特定要求的合成数据集，并且提出了IndustryOR基准测试来测试ORLMs的性能。实验结果表明，使用OR-Instruct生成的数据集训练的ORLMs在NL4OPT、MAMO和IndustryOR基准测试上均取得了最先进的性能。

最近的相关研究主要是关于使用大型语言模型进行运筹学建模的方法和应用，例如GPT-2、T5等。