介绍了ART，这是一种无梯度的方法，用于自动生成多步骤推理和自动使用大型黑盒子语言模型的工具。主要贡献包括一个轻量级的语法，将多步骤推理表示为一个程序（带有工具调用和参数），一个可扩展的种子任务库，为其编写程序，以及一个由有用的外部工具组成的工具库，如搜索、代码生成和执行。可解释的推理框架还允许人类改进任务分解和工具使用，以提高性能。

ART: Automatic multi-step reasoning and tool-use for large language models

Bhargavi Paranjape, Scott Lundberg, Sameer Singh, Hannaneh Hajishirzi, Luke Zettlemoyer, Marco Tulio Ribeiro

[University of Washington & Microsoft Research & University of California & Allen Institute of Artificial Intelligence & Meta AI ]

  1. 大型语言模型（LLMs）可以通过生成中间思维链（CoT）推理步骤，在少数和零次的设置中进行复杂的推理。此外，每个推理步骤都可以依靠外部工具来支持LLM核心能力之外的计算（如搜索/运行代码）。之前关于CoT提示和工具使用的工作通常需要手工制作特定任务的演示，以及精心编写模型生成和工具使用的交错脚本。
  2. 介绍了(Automatic Reasoning and Tool-use，ART)，这是一个使用冻结的LLMs来自动生成中间推理步骤的框架，作为一个程序。给定一个新的任务，ART从一个任务库中选择多步骤推理和工具使用的演示。在测试时，每当外部工具被调用时，ART都会无缝地暂停生成，并在恢复生成之前整合其输出。
  3. 在BigBench和MMLU基准测试中，ART在未见过的任务上实现了比少量提示和自动CoT的大幅改进，并且在大多数任务上与手工制作的CoT提示的性能相匹配。ART还具有可扩展性，通过纠正特定任务程序中的错误或纳入新的工具，人类可以很容易地提高性能，通过在最小的人为干预下大幅提高特定任务的性能来证明这一点。
  4. https://arxiv.org/pdf/2303.09014.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除