DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model

本文提出了一个名为DiffGen的新框架，它集成了可微分物理模拟、可微分渲染和视觉语言模型，以实现自动和高效的机器人演示生成。给定一个模拟机器人操纵场景和一个自然语言指令，DiffGen可以通过最小化语言指令嵌入和操纵后的模拟观察嵌入之间的距离来生成逼真的机器人演示。嵌入是从视觉语言模型中获得的，并且通过可微分模拟、可微分渲染和视觉语言模型组件进行计算和下降梯度来实现优化，从而完成指定的任务。实验表明，使用DiffGen，我们可以在最小的人力和培训时间内高效地生成机器人数据。

本论文旨在解决通过不同iable physics simulation, differentiable rendering和视觉-语言模型实现自动和高效生成机器人演示的问题。以往的机器人生成演示的方法不够高效，需要大量的专家策略和奖励设计，且缺乏样本效率。

论文提出了DiffGen框架，通过计算和下降梯度来实现指定任务。该框架将不同iable physics simulation, differentiable rendering和视觉-语言模型集成在一起，通过最小化语言指令的嵌入和模拟观察的嵌入之间的距离来生成逼真的机器人演示。

DiffGen框架可以在减少人工工作和训练时间的情况下高效地生成机器人数据。实验结果表明，DiffGen框架可以在不需要大量人工干预的情况下生成高质量的机器人演示。

近期的相关研究包括使用强化学习代理来生成专家策略的方法，以及通过不同iable simulation来生成机器人演示的方法。