ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation

本文提出了一种名为ManiGaussian的动态高斯喷洒方法，用于多任务机器人操作，通过未来场景重建挖掘场景动态。传统的机器人操作方法通常学习操作预测的观察语义表示，忽略了人类目标完成的场景级时空动态。具体地，我们首先制定了动态高斯喷洒框架，该框架推断了高斯嵌入空间中的语义传播，其中语义表示被利用来预测最佳机器人操作。然后，我们建立了一个高斯世界模型来参数化我们的动态高斯喷洒框架中的分布，通过未来场景重建在交互环境中提供信息监督。我们在10个RLBench任务的166个变体上评估了ManiGaussian，结果表明我们的框架在平均成功率上比最先进的方法提高了13.1％。

本文旨在解决多任务机器人操作中的语言条件下的机器人操作问题，提出了一种动态高斯喷洒方法，通过未结构化环境中的未来场景重建来挖掘场景动态性。

文章提出了ManiGaussian框架，通过高斯嵌入空间中的语义传播来推断最优机器人操作，并构建高斯世界模型来参数化动态高斯喷洒框架中的分布，通过未来场景重建在交互环境中提供信息监督。

实验评估了ManiGaussian在10个RLBench任务中的表现，共166个变体，结果表明，相比最先进的方法，ManiGaussian的平均成功率提高了13.1％。

与本文相关的研究包括语言条件下的机器人操作、多任务机器人操作、高斯嵌入以及场景重建等。