MaskedManipulator: Versatile Whole-Body Control for Loco-Manipulation

人类通过利用精确的全身控制与世界互动，以实现多样化的目标。这种多样性使他们能够解决长时间跨度、未明确指定的问题，例如将杯子放入水槽中，通过流畅地串联一系列动作来完成，如接近杯子、抓取、搬运并最终将其放置在水槽中。这种目标驱动的控制方法可以为动画系统提供新的程序化工具，允许用户定义部分目标，而系统则自然地“填补”中间的动作。然而，尽管当前基于物理的动画中用于全身灵巧操作的方法在特定交互任务中取得了成功，但它们通常采用的控制范式（例如详细的运动学追踪、连续的对象轨迹跟随或直接的虚拟现实远程操作）在对整个耦合的人-物系统进行高层目标指定时灵活性有限。为了弥合这一差距，我们提出了 MaskedManipulator，这是一种通过两阶段学习方法开发的统一且生成式的策略。首先，我们的系统通过从大规模人体动作捕捉数据集中训练一个跟踪控制器，以物理方式重建复杂的人-物交互。然后，该跟踪控制器被提炼为 MaskedManipulator，为用户提供对角色身体和被操纵对象的直观控制。因此，MaskedManipulator 允许用户通过直观的高层目标（例如目标物体姿态、关键角色姿势）来指定复杂的移动与操作任务，并自动生成物理模拟人形角色所需的全身动作以达成这些目标，从而为更互动、更逼真的虚拟角色铺平道路。

该论文试图解决如何让物理模拟中的人形角色通过全身灵活操控完成复杂的目标导向任务，例如将杯子放入水槽。当前方法在特定任务上表现良好，但缺乏对高阶目标的通用性和灵活性支持，这促使研究者探索一种新的控制策略。

论文提出了一种名为MaskedManipulator的统一生成策略，采用两阶段学习方法：首先训练一个追踪控制器以从大规模人体动作捕捉数据中重建复杂的人-物交互，然后将其蒸馏为MaskedManipulator模型。这一方法允许用户通过高层次的目标（如目标物体姿态或关键角色姿势）定义任务，系统自动合成实现这些目标所需的全身动作。

论文设计了多步实验验证模型在不同任务中的表现，包括物体操控、角色姿态调整等；使用了大规模动作捕捉数据集进行训练，并通过物理模拟环境测试模型效果。代码和部分数据已开源，为后续研究提供了基础。未来可以进一步探索更复杂的交互场景以及与其他AI技术（如语言理解）的结合。

相关研究包括基于强化学习的机器人操控（如'Learning Dexterous In-Hand Manipulation'），以及物理动画中的运动合成方法（如'Physics-Based Character Animation Using Deep Reinforcement Learning'）。此外，还有针对具体任务的控制方法，例如'Whole-Body Motion Planning for Dexterous Manipulation in Physics-Based Animation'。