GWM: Towards Scalable Gaussian World Models for Robotic Manipulation

在已学习的世界模型中训练机器人策略正变得流行，因为与真实世界交互效率较低。虽然已有的基于图像的世界模型和策略此前取得了一定成功，但它们缺乏对几何信息的稳健表达，而几何信息需要对三维世界的空间关系和物理规律有持续一致的理解，即使这些模型已经使用互联网规模的视频数据进行过预训练。为此，我们提出了一种全新的世界模型分支——高斯世界模型（Gaussian World Model, GWM），专门用于机器人操作任务。该模型通过推断高斯基元在机器人动作影响下的传播来重建未来状态。GWM的核心是一个结合了三维变分自编码器的潜在扩散Transformer（Diffusion Transformer, DiT），能够通过高斯点绘（Gaussian Splatting）实现细粒度、场景级别的未来状态重建。GWM不仅能通过自监督的未来预测训练增强模仿学习代理的视觉表征能力，还可以作为支持基于模型的强化学习的神经仿真器。无论是模拟实验还是真实世界实验都表明，GWM能够根据不同的机器人动作精确预测未来的场景，并可用于训练出显著优于当前最先进方法的策略，展示了三维世界模型在数据扩展方面的初步潜力。

论文旨在解决当前基于图像的世界模型在机器人操作任务中缺乏对三维几何信息的精确建模问题。现有的方法虽然能够在大规模视频数据上进行预训练，但在需要空间和物理理解的任务中表现不足。这是一个相对较新的问题，尤其是在将世界模型应用于机器人操作领域。

论文提出了一种名为Gaussian World Model (GWM) 的新型世界模型，通过推断高斯基元在机器人动作影响下的传播来重建未来状态。其核心是一个结合了3D变分自编码器的潜扩散Transformer (DiT)，并利用高斯点阵进行细粒度的场景级未来状态重建。相比现有方法，该模型在保持高效视觉表示的同时引入了更强的三维几何理解能力。

1. GWM能够通过自监督的未来预测训练增强视觉表示，同时作为神经模拟器支持基于模型的强化学习。 2. 实验设计涵盖了模拟和真实世界的机器人操作任务，验证了GWM在预测未来场景和训练策略方面的有效性。 3. 论文展示了3D世界模型在数据扩展方面的潜力，表明随着数据量的增加，模型性能有显著提升。 4. 尽管论文未明确提及代码开源情况，但其基于高斯点阵和扩散模型的技术路线具有较高的可复现性。

1. PlaNet: Planning with Latent Dynamics for Sequential Decision Making 2. World Models 3. Gaussian Splatting for Real-Time 3D Rendering 4. 3D Scene Representation for Model-Based Reinforcement Learning 5. Diffusion Models Beat GANs on Image Synthesis