Model-Based Diffusion for Trajectory Optimization

最近扩散模型的进展展示了它们通过迭代改进过程从复杂分布中生成高保真样本的强大能力。尽管扩散模型在运动规划和控制方面取得了实证成功，但这些方法的无模型特性并不利用现成的模型信息，限制了它们在训练数据之外的新场景（例如具有不同动力学的新机器人）中的泛化能力。在这项工作中，我们介绍了一种称为基于模型扩散（MBD）的优化方法，使用扩散过程解决轨迹优化（TO）问题，而无需数据。关键思想是通过利用TO问题中的模型信息明确计算评分函数，这就是我们将我们的方法称为基于模型的扩散的原因。此外，虽然MBD不需要外部数据，但可以自然地集成具有不同质量的数据以引导扩散过程。我们还揭示了MBD与基于采样的优化之间有有趣的联系。实证评估表明，MBD在具有挑战性的接触丰富任务中优于最先进的强化学习和基于采样的TO方法。此外，MBD集成数据的能力增强了其多功能性和实际适用性，即使是在不完美和不可行的数据（例如高维人形机器人的部分状态演示）之外的范围内，超出了标准扩散模型的范围。

论文提出了Model-Based Diffusion (MBD)这一优化方法，旨在解决无数据情况下的轨迹优化问题。同时，该方法还能与数据集集成，提高其适用性和实用性。

MBD利用TO问题中的模型信息明确计算得分函数，结合扩散过程解决轨迹优化问题。

实验结果表明，在复杂的接触任务中，MBD优于现有的强化学习和基于采样的TO方法。此外，MBD的数据集集成能力提高了其实用性和通用性。

最近的相关研究包括基于强化学习的轨迹优化方法和基于采样的优化方法，如POPLIN和CMA-ES。