Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement

大型语言模型代理在各种复杂交互任务中表现出了异常的性能。最近的方法利用专家轨迹调整来增强代理的性能，但它们主要集中在结果奖励上，这可能会因为缺乏过程监督信号而导致错误或次优行动。本文介绍了迭代式步骤级过程细化（IPR）框架，它提供了详细的逐步指导来增强代理训练。具体来说，我们采用蒙特卡罗方法来估计步骤级奖励。在每次迭代中，代理沿着专家轨迹进行探索并生成新的动作。然后，使用步骤级奖励对这些动作与专家轨迹的相应步骤进行评估。这种比较有助于识别差异，产生对比动作对，这些对动作对作为代理的训练数据。我们在三个复杂代理任务上的实验表明，我们的框架优于各种强基线。此外，我们的分析结果凸显了IPR在增强行动效率方面的有效性以及其适用于各种模型。

论文旨在提出一种新的框架来增强智能代理的训练，解决使用专家轨迹调整智能代理训练时存在的问题。

论文提出了迭代式步骤级过程细化（IPR）框架，通过比较智能代理和专家轨迹的差异来提供详细的步骤级指导，以增强代理训练。

论文采用蒙特卡洛方法估计步骤级奖励，并通过比较智能代理和专家轨迹的差异来生成对比行动对，作为代理训练的数据。实验结果表明，IPR框架优于多种强基线模型。

最近的相关研究包括使用强化学习和模仿学习的方法来增强代理训练，例如《End-to-End Training of Deep Visuomotor Policies》和《Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization》。