GenCHiP: Generating Robot Policy Code for High-Precision and Contact-Rich Manipulation Tasks

我们发现，在正确的行动空间下，大型语言模型（LLMs）能够成功地生成各种接触丰富和高精度操作任务的策略，即使在感知误差或抓握不准确等嘈杂条件下也能如此。具体来说，我们重新参数化了行动空间，以包括与到达目标姿态所涉及的交互力和刚度的约束的一致性。我们在从功能操作基准（FMB）和NIST任务板基准派生的子任务上验证了这种方法。将这个行动空间与估算物体姿态的方法一起使用，相比于非一致性行动空间，能够使LLM的策略生成提高3倍和4倍以上。因此，对于需要对接触力进行推理和在严格的成功容差范围内工作的任务，如何使用LLMs仍然是一个开放性问题。

本论文的问题是，如何让大型语言模型（LLMs）能够成功生成高接触力和高精度操作任务的策略代码，即使在噪声条件下也能够实现？

本论文的关键思路是，重新参数化动作空间，包括符合与达到目标姿态所涉及的交互力和刚度的约束条件。通过将这个动作空间与估计物体姿态的方法一起使用，可以提高LLMs的策略生成能力。

值得关注的亮点包括：1.本文提出的方法可以使LLMs在高接触力和高精度操作任务中生成成功的策略代码。2.实验结果表明，与非符合动作空间相比，使用符合动作空间可以提高LLMs的策略生成能力3倍以上。3.本文的方法在Functional Manipulation Benchmark和NIST Task Board Benchmarks的子任务上进行了验证。4.本文提供了开源代码。

最近的相关研究包括：1.《Learning to Poke by Poking: Experiential Learning of Intuitive Physics》2.《Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates》3.《Learning Dexterous In-Hand Manipulation》