Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

本文提出了一种新颖的策略参数生成器Make-An-Agent，利用条件扩散模型的能力进行行为到策略生成。该策略生成器通过编码轨迹信息的行为嵌入来指导，合成潜在参数表示，然后将其解码为策略网络。在策略网络检查点和相应轨迹的训练下，我们的生成模型在多个任务上展现了出色的多样性和可扩展性，并且具有强大的泛化能力，可以通过只输入少量示范来输出表现良好的策略。我们展示了它在各种领域和任务中的功效和效率，包括不同的目标、行为，甚至跨不同的机器人操纵器。除了模拟，我们还将Make-An-Agent生成的策略直接部署到真实世界的机器人上进行运动任务。

本论文旨在探讨是否可以使用仅一个演示行为作为输入来生成代理的控制策略，以及如何利用条件扩散模型来实现行为到策略的生成。

该论文的关键思路是使用行为嵌入来指导生成模型生成潜在参数表示，然后将其解码为策略网络。通过训练策略网络的检查点和相应的轨迹，该生成模型展示了在多个任务上的可扩展性和通用性。

该论文展示了Make-An-Agent在多个任务和领域上的高效性和通用性，并展示了其在现实世界机器人上的应用。实验设计充分，使用了多个数据集，并且代码已经开源。

最近在这个领域中的相关研究包括：Learning from Demonstrations using Generative Adversarial Nets (GANs)、Generative Adversarial Imitation Learning (GAIL)、Deep Q-Networks (DQNs)等。