Learning Unified Force and Position Control for Legged Loco-Manipulation

机器人运动-操作任务通常涉及与环境的丰富接触交互，需要同时对接触力和机器人位置进行建模。然而，最近的视觉-运动策略往往仅专注于学习位置控制或力控制，而忽略了两者的协同学习。在本工作中，我们提出了首个针对足式机器人的统一策略，该策略能够在不依赖力传感器的情况下，同时学习力控制和位置控制。通过模拟多种位置和力指令的组合以及外部扰动力，我们利用强化学习来学习一种策略，该策略能够从历史机器人状态中估计力，并通过位置和速度调整来进行补偿。这一策略使机器人能够在不同的力和位置输入下实现广泛的操作行为，包括位置跟踪、力施加、力跟踪以及柔顺交互。此外，我们证明了所学策略通过其力估计模块引入关键的接触信息，从而增强了基于轨迹的模仿学习管道，在四个具有挑战性的接触丰富的操作任务中，相较于仅使用位置控制的策略，成功率达到约39.5%的提升。大量的实验验证了该策略在四足操作机器人和人形机器人上的通用性和鲁棒性，适用于多种场景。

论文试图解决机器人在接触丰富的任务中同时进行位置和力控制的问题。目前大多数研究仅关注位置或力的单独控制，而这篇论文提出了一种联合建模的方法来解决这一问题，且不依赖于力传感器。这是一个相对较新的问题，因为之前的大多数方法都未尝试在无传感器条件下同时学习位置和力控制。

论文的关键思路是通过强化学习训练一个统一的策略，该策略能够从历史机器人状态中估计接触力，并通过调整位置和速度来补偿这些力。这种方法不需要使用力传感器，而是通过模拟多样化的力和位置命令以及外部干扰力来学习这种联合控制策略。相比当前领域的研究状况，这篇论文的独特之处在于它实现了位置和力控制的联合建模，同时减少了对硬件（如力传感器）的依赖。

论文展示了该策略在多种行为中的有效性，包括位置跟踪、力应用、力跟踪和柔顺交互。此外，实验表明，将该策略与基于轨迹的模仿学习结合可以显著提高成功率（约39.5%）。实验设计涵盖了四类具有挑战性的接触丰富任务，并在四足操纵器和人形机器人上进行了验证，证明了策略的通用性和鲁棒性。论文未提及数据集的具体来源，但提到通过仿真生成数据。代码是否开源未明确说明，但未来工作可能涉及更复杂的动态环境下的应用。

最近的相关研究包括：1) 使用深度学习进行机器人触觉感知的研究；2) 强化学习在机器人控制中的应用，例如 'Learning Dexterous In-Hand Manipulation'；3) 基于视觉的机器人控制方法，如 'Vision-Based Reinforcement Learning for Robotic Manipulation'；4) 不同形式的接触建模，例如 'Contact-Aware Reinforcement Learning for Legged Robots'。这些研究大多集中在单一控制维度（如位置或力），而本文则提出了联合学习的新方向。