AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents

传统的基于物理的运动生成方法，主要围绕着模仿学习和奖励设计展开，通常难以适应新的场景。为了解决这个限制，我们提出了AnySkill，一种新颖的分层方法，可以学习遵循开放词汇指令的物理合理交互。我们的方法首先通过模仿学习训练低层控制器来开发一组原子动作。在接收到开放词汇文本指令后，AnySkill采用高层策略来选择和整合这些原子动作，以最大化代理器的渲染图像和文本之间的CLIP相似性。我们方法的一个重要特点是使用基于图像的奖励来进行高层策略，这使得代理器可以学习与对象的交互，而无需手动设计奖励。我们展示了AnySkill对于不同长度的未见指令生成逼真和自然的动作序列的能力，这标志着它是第一个能够进行交互式人形代理器开放词汇物理技能学习的方法。

本文旨在解决物理运动生成中传统方法的局限性，提出了一种新的层次化方法AnySkill，可以通过开放词汇指令学习物理上可行的交互。

AnySkill通过训练低层次控制器来开发一组原子动作。在接收到开放词汇文本指令后，使用高层策略选择和集成这些原子动作以最大化代理的渲染图像与文本之间的CLIP相似性。该方法的一个重要特点是使用基于图像的奖励来进行高层策略，从而使代理能够学习与对象的交互而无需手动奖励工程。

本文展示了AnySkill对于不同长度的未见指令生成逼真和自然的运动序列的能力，标志着它是第一种能够进行交互式人形代理的开放词汇物理技能学习的方法。实验使用了自己的数据集，并且开源了代码。

相关研究包括物理运动生成中的传统方法，如模仿学习和奖励塑造，以及其他使用深度学习的物理运动生成方法，如基于强化学习的方法。