Closed-Loop Long-Horizon Robotic Planning via Equilibrium Sequence Modeling

在努力让自主机器人采取行动的过程中，任务规划是一个主要的挑战，需要将高级任务描述转换为长期的动作序列。尽管自然语言模型代理最近取得了进展，但它们仍然容易出现规划错误，并且在规划前瞻能力方面受到限制。为了解决机器人规划中的这些限制，我们提倡一种自我完善的方案，该方案通过迭代地完善草案计划直到达到平衡来解决这一问题。值得注意的是，这个过程可以从分析的角度进行端到端的优化，而不需要策划额外的验证器或奖励模型，使我们能够以简单的监督学习方式训练自我完善的规划器。同时，我们设计了一个嵌套平衡序列建模过程，用于高效的闭环规划，该过程可以将环境（或内部世界模型）的有用反馈纳入考虑。我们的方法在VirtualHome-Env基准测试中进行了评估，表现出更好的推理计算规模，代码可在https://github.com/Singularity0104/equilibrium-planner上获得。

论文旨在解决机器人规划中高层任务描述转化为长期行动序列的挑战，提出了一种自我完善的规划方案，优化了闭环规划的嵌套平衡序列建模过程，以提高规划效率和性能。

论文提出了一种自我完善的规划方案，通过迭代优化草案计划，直到达到平衡状态。该方法可以从分析角度进行端到端优化，无需额外的验证器或奖励模型，同时设计了一种嵌套平衡序列建模过程，以有效地将来自环境（或内部世界模型）的有用反馈纳入闭环规划中。

论文在VirtualHome-Env基准测试中进行了评估，表现出更好的推理计算规模。研究人员还提供了开源代码。该方法的优点是无需额外的验证器或奖励模型，可以进行端到端优化。该方法的嵌套平衡序列建模过程可以提高规划效率和性能。

最近的相关研究包括使用语言模型代理进行规划的方法，但它们容易出现规划错误并且能力有限。还有一些基于强化学习的规划方法，但需要大量的交互式训练。