DDAT: Diffusion Policies Enforcing Dynamically Admissible Robot Trajectories

扩散模型在创建图像和视频方面表现出色，这得益于其多模态生成能力。这些相同的能力也使得扩散模型在机器人研究中越来越受欢迎，被用于生成机器人的运动。然而，扩散模型的随机性与描述机器人可行运动的精确动力学方程本质上是矛盾的。因此，生成动态可接受的机器人轨迹对扩散模型来说是一个挑战。为了解决这个问题，我们引入了DDAT：一种用于生成动态可接受轨迹的扩散策略，可以使用扩散模型生成经过验证的黑盒机器人系统的可接受轨迹。如果一个状态序列中的每个状态都属于前一个状态通过机器人运动方程可达的状态集合，则该序列就是一个动态可接受的轨迹。为了生成这样的轨迹，我们的扩散策略在训练和推理过程中将预测投影到动态可接受的流形上，以使去噪神经网络的目标与动态可接受性约束保持一致。这种投影的自回归性质以及机器人动力学的黑盒特性使得这些投影极具挑战性。因此，我们通过迭代采样状态可达集的一个多面体下近似，并将其预测的后续状态投影到这个近似集上来强制执行可接受性，然后再用投影后的后续状态重复这一过程。通过生成准确的轨迹，这种投影消除了扩散模型需要不断重新规划的需求，从而实现了一次性的长期轨迹规划。我们通过在四旋翼无人机和各种MuJoCo环境中的广泛模拟，以及在Unitree GO1和GO2上的实际实验，证明了我们的框架能够生成质量更高的动态可接受机器人轨迹。

该论文试图解决使用扩散模型生成机器人动态可接受轨迹的挑战。由于扩散模型的随机性质与描述机器人可行运动的精确动力学方程之间的冲突，生成符合物理定律的机器人运动轨迹变得非常困难。这是一个在将扩散模型应用于机器人领域时遇到的新问题。

关键思路是引入DDAT（Diffusion policies for Dynamically Admissible Trajectories），通过在训练和推理过程中将扩散模型的预测投影到一个动态可接受的流形上，确保生成的轨迹符合机器人的动力学约束。这种方法结合了自回归投影和可达集的多面体下近似，从而实现了单次长期规划而无需反复重规划。相比现有研究，DDAT的独特之处在于它直接解决了扩散模型与机器人动力学之间的不兼容性，并提供了一种新的方法来保证生成轨迹的物理可行性。

该论文展示了其框架在多个模拟环境（如四旋翼无人机和MuJoCo环境）以及真实世界实验（如Unitree GO1和GO2机器人）中的有效性。实验设计包括广泛的仿真测试和实际操作验证，证明了DDAT生成的轨迹质量更高且更符合物理规律。此外，该研究强调了黑箱系统中实现动态可接受性的难度，并提出了一种有效的解决方案。值得注意的是，该研究还可能包含开源代码，为后续研究提供了宝贵的资源。

最近在这个领域，其他相关研究包括： - "Learning Latent Dynamics for Planning from Pixels"，探讨了从像素学习潜在动力学以进行规划的方法。 - "Deep Dynamics Models for Learning Dexterous Manipulation"，研究了用于灵巧操纵的深度动力学模型。 - "Safe and Efficient Off-Policy Reinforcement Learning"，关注了安全高效的离线强化学习方法。 这些研究均致力于提高机器人学习和规划的能力，但DDAT特别关注于利用扩散模型生成符合物理约束的轨迹。