On the Design and Analysis of LLM-Based Algorithms

我们开始对基于LLM的算法进行正式调查，即包含一个或多个大型语言模型（LLMs）调用作为子程序并且关键依赖于LLMs功能的算法。尽管基于LLM的算法，从基本的LLM调用到复杂的LLM驱动的代理系统和复合AI系统，已经取得了显著的实证成功，但它们的设计和优化大多依赖于试错和启发式方法，这主要是由于缺乏对这些算法的正式和分析性研究。为了填补这一空白，我们首先确定了基于LLM的算法的计算图表示、任务分解的设计原则和一些关键抽象，这些有助于我们对LLM-based算法的准确性和效率进行形式化分析，尽管LLMs是黑盒子。我们进一步考虑了并行分解的案例研究，为这种模式的四个具体示例提供了广泛的分析和实证研究。我们提出的框架有望推进基于LLM的算法，揭示奇怪实证现象背后的原因，指导超参数的选择，预测算法的实证性能，并激发新的算法设计。为了促进对基于LLM的算法的进一步研究，我们在https://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithm上发布了我们的源代码。

论文旨在对基于大型语言模型（LLM）的算法进行形式化分析，以填补这些算法的设计和优化领域中的空白。这些算法在经验上取得了显著的成功，但其设计和优化主要依赖于试错和启发式方法。

论文通过识别LLM-based算法的计算图表示，任务分解的设计原则和一些关键抽象，为LLM-based算法的准确性和效率提供形式化分析，尽管LLM是黑盒。同时，论文还考虑了并行分解的情况，并提供了四个具体案例的广泛分析和实证研究。

论文提出的框架有望推动LLM-based算法的发展，揭示奇怪经验现象背后的原因，指导超参数的选择，预测算法的经验性能，并激发新的算法设计。论文还公开了源代码，并给出了四个具体案例的实验结果。

最近的相关研究包括使用LLM的自然语言处理和对话系统的研究，以及对LLM的解释和可解释性的研究。