RCI方法｜语言模型解决计算机任务，超越监督学习和强化学习

简介：能够在计算机上执行一般任务的代理可以通过自动化重复性任务和协助解决复杂的问题来提高效率和生产力。理想情况下，此类代理应该能够通过自然语言命令解决呈现给他们的新计算机任务。然而，以前解决这个问题的方法需要大量的专家演示和特定任务的奖励功能，这两者对新任务来说都是不切实际的。

在这项工作中，我们表明，预训练的大型语言模型（LLM）代理可以使用一个简单的提示方案执行由自然语言引导的计算机任务，其中代理递归批评并改进其输出（RCI）。RCI方法明显优于现有的计算机任务自动化的LLM方法，并超越了MiniWoB++基准上的监督学习（SL）和强化学习（RL）方法。RCI与最先进的SL+RL方法具有竞争力，每个任务只使用少数演示，而不是数以万计的演示，并且没有特定于任务的奖励功能。此外，我们展示了RCI提示在一系列自然语言推理任务中增强LLM推理能力方面的有效性，优于思维链（CoT）提示。我们发现RCI与CoT相结合的性能比单独两者都要好。

内容中包含的图片若涉及版权问题，请及时与我们联系删除