Splat-MOVER: Multi-Stage, Open-Vocabulary Robotic Manipulation via Editable Gaussian Splatting

我们提出了Splat-MOVER，这是一个用于开放词汇机器人操作的模块化机器人技术栈，利用高斯飞溅（GSplat）场景表达的可编辑性，实现多阶段操作任务。Splat-MOVER包括：（i）ASK-Splat，一种GSplat表达式，将语义和抓握可行性特征提炼到3D场景中。ASK-Splat实现了对3D场景的几何、语义和可行性理解，这在许多机器人任务中至关重要；（ii）SEE-Splat，一种实时场景编辑模块，使用3D语义掩蔽和填充来可视化机器人在现实世界中与物体交互的运动。SEE-Splat在整个操作任务中创建了一个“数字孪生体”来反映不断变化的环境；（iii）Grasp-Splat，一种抓握生成模块，使用ASK-Splat和SEE-Splat为开放世界物体提供可行性对齐的候选抓握。ASK-Splat在操作之前的简短扫描阶段从RGB图像中进行实时训练，而SEE-Splat和Grasp-Splat在操作期间实时运行。我们在Kinova机器人上进行了硬件实验，比较了Splat-MOVER在四个单阶段、开放词汇操作任务和四个多阶段操作任务中与最近的两个基线的卓越表现，使用编辑后的场景反映由于先前操作阶段的变化，这是现有基线无法实现的。该项目页面可在https://splatmover.github.io上找到，并且项目代码将在审核后公开。

论文旨在解决开放词汇机器人操作中的多阶段操作问题，并提出了一种基于高斯喷洒场景表示的模块化机器人技术栈，名为Splat-MOVER。该技术栈能够利用高斯喷洒场景表示的可编辑性，实现多阶段操作任务。

Splat-MOVER由三个模块组成：ASK-Splat、SEE-Splat和Grasp-Splat。ASK-Splat将语义和抓取可行性特征融合到3D场景中，实现对3D场景的几何、语义和可行性理解；SEE-Splat使用3D语义掩蔽和填充技术实现实时场景编辑，生成反映机器人操作后环境变化的数字化双胞胎；Grasp-Splat利用ASK-Splat和SEE-Splat为开放世界物体提供与可行性对齐的候选抓取。ASK-Splat在操作前的简短扫描阶段从RGB图像中实时训练，而SEE-Splat和Grasp-Splat在操作期间实时运行。Splat-MOVER在四个单阶段和四个多阶段操作任务中与两个基线方法进行了硬件实验，使用编辑后的场景反映先前操作阶段的变化，这是现有基线方法所不能实现的。

Splat-MOVER在多阶段操作任务中表现出优异的性能。论文提出的ASK-Splat、SEE-Splat和Grasp-Splat模块可以实现对3D场景的几何、语义和可行性理解，实时场景编辑和候选抓取生成。此外，论文提供了项目页面和代码开源。

最近在这个领域中，与本文相关的研究包括：1.使用深度学习进行物体姿态估计；2.使用深度学习进行抓取生成；3.使用高斯喷洒场景表示进行机器人操作。