PARC: Physics-based Augmentation with Reinforcement Learning for Character Controllers

人类在敏捷运动技能的加持下，能够出色地在多样且复杂的环境中导航，例如跑酷运动员展现出的动态动作，像攀爬墙壁和跨越间隙。然而，使用模拟角色重现这些敏捷运动仍然充满挑战，部分原因在于缺乏用于敏捷地形穿越行为的动作捕捉数据，以及获取此类数据的高成本。在这项工作中，我们提出了PARC（基于物理增强与强化学习的角色控制器框架），这是一个结合机器学习和基于物理的仿真技术的框架，用于迭代扩充动作数据集，并扩展地形穿越控制器的能力。PARC首先在一个包含核心地形穿越技能的小型数据集上训练一个动作生成器。然后，该动作生成器被用来生成穿越新地形的合成数据。然而，这些生成的动作通常存在一些问题，例如不正确的接触点或动作不连续性。为了解决这些问题，我们训练了一个基于物理的追踪控制器，在仿真中模仿这些动作以修正问题。经过修正的动作会被添加到数据集中，以便在下一迭代中继续训练动作生成器。通过这种迭代过程，PARC同时扩展了动作生成器和追踪控制器的能力，从而创建出能够在复杂环境中灵活互动的敏捷且多样的模型。PARC提供了一种有效的解决方案，用于开发敏捷地形穿越的控制器，弥合了动作数据稀缺与对多功能角色控制器需求之间的差距。

该论文试图解决在复杂地形上生成敏捷运动控制的问题，特别是在缺乏足够运动捕捉数据的情况下。这是一个长期存在的问题，因为高质量的运动捕捉数据获取成本高且稀缺。

PARC框架的关键思路是结合机器学习和物理模拟，通过迭代方式扩展运动数据集。首先使用少量核心技能数据训练运动生成器，然后生成合成数据并用物理跟踪控制器修正这些数据中的错误（如不正确的接触或不连续性）。修正后的数据被重新加入数据集以进一步训练运动生成器。这种方法相比传统的单一模型训练方法更具适应性，能够逐步提升生成器和控制器的能力。

论文设计了多轮迭代实验，验证了生成器和控制器的协同改进效果；使用了多样化的虚拟地形环境进行测试，展示了模型在不同场景下的泛化能力。此外，作者提到代码和部分数据集可能开源，为后续研究提供了便利。值得深入研究的方向包括如何将此方法应用于真实机器人系统以及探索更多复杂的动态行为。

最近的相关研究包括：1)《Learning Agile Robotic Locomotion Skills Using Deep Reinforcement Learning》探讨了深度强化学习在机器人敏捷运动中的应用；2)《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》提出了基于示例指导的强化学习方法生成物理角色技能；3)《Simulating Human Movements in Complex Environments》研究了复杂环境下人类运动的模拟技术。